「 クローラー 」一覧

サイト内のあるディレクトリ(フォルダ)やページは検索エンジンの検索結果に表示したくないというときに使われるのがrobots.txtというファイルです。これはただのテキストファイルですがここには検索エンジンのクローラーを制御するための特別な命令を書くことでクローラーの動作を制限することが可能です。ここではそのrobots.txtの役割と書き方やWordPressでこのファイルを編集する方法などについて解説します。