robots.txtの役割って何?使い方と書き方を解説
サイト内のあるディレクトリ(フォルダ)やページは検索エンジンの検索結果に表示したくないというときに使われるのがrobots.txtというファイルです。これはただのテキストファイルですがここには検索エンジンのクローラーを制御するための特別な命令を書くことでクローラーの動作を制限することが可能です。ここではそのrobots.txtの役割と書き方やWordPressでこのファイルを編集する方法などについて解説します。
サイト内のあるディレクトリ(フォルダ)やページは検索エンジンの検索結果に表示したくないというときに使われるのがrobots.txtというファイルです。これはただのテキストファイルですがここには検索エンジンのクローラーを制御するための特別な命令を書くことでクローラーの動作を制限することが可能です。ここではそのrobots.txtの役割と書き方やWordPressでこのファイルを編集する方法などについて解説します。