robots.txtテスターの使い方とクロールエラーがないか調べる方法

robots.txt はクローラーへの命令を記述できるテキストファイルのこと

このファイルに色々な命令を書くことで検索エンジンの表示結果から特定のページを１つずつまたはまとめてブロックできます。

ですが便利な反面、重要なファイルなので構文エラーがあるとページが正常にインデックスされないなどの悪影響が出ることも・・・

そんなミスを防ぐのに有効なのが robots.txtテスター というツールです。

ここではそのツールの使い方について詳しく解説していきます。

robots.txtテスターとは？

最初にrobots.txtテスターとは何なのかについて簡単に説明します。

冒頭でも書いたように robots.txt は検索エンジンのクローラーに対しての命令が書かれたテキストファイルのことです。

このファイルが使われる用途は例えば・・・

• 質の悪いページがインデックス登録されるのを防ぎたい場合
• 特定の人にだけ特定のページを公開させたい場合

・・・などなど

インデックスしたくないページがあるときに「そのページはクロールしてはダメ！」とクローラーに指示するために使われることが多いです。

詳しい書き方などについては次の記事でも解説したので、そちらをどうぞ

robots.txtの役割って何？使い方と書き方を解説

サイト内のあるディレクトリ(フォルダ)やページは検索エンジンの検索結果に表示したくないというときに使われるのがrobots.txtというファイルです。これはただのテキストファイルですがここには検索エンジンのクローラーを制御するための特別な命令を書くことでクローラーの動作を制限することが可能です。ここではそのrobots.txtの役割と書き方やWordPressでこのファイルを編集する方法などについて解説します。

fukuro-press.com

2019-07-27 19:39

そしてこのrobotx.txtは拡張子が「.txt」なのでテキストファイルです。

テキストファイルなのですがクローラーは人間ではないので人間の言葉で書いても理解できません。ある決まりに従ったルールつまり「構文」通りに書かなければクローラーは理解してくれないということです。

逆に人間がその構文が正しいかどうか判断するとなると今度は人間がrobots.txtの構文について学ばなくてはならなくなります。

確かに正しいrobots.txtを書くには構文の知識がある程度は必要になりますが、人間はロボットでないので必ず間違いは起きてしまいます。そしてそれを気づけないかもしれません。

そんな時に役立つのがSearch Consoleの「robots.txtテスター」というツール

このツールにはrobots.txtの編集に役立つ次の機能がついています。

• 構文エラーの確認
• ブロックされているURLの確認
• robots.txtの送信

人間がこの作業を全てやろうとすると大変ですが、robots.txtテスターを使うとその作業を代わりにやってくれるのでとても便利です。

robots.txtテスターの使い方・機能

では、robots.txtテスターを実際に使ってみましょう。

まずSearch Consoleにアクセスしてrobots.txtの編集がしたいサイトを選びます。

サイトのダッシュボードが開いたら左のメニューの中にある「クロール」と書かれた項目をクリックしてメニューを展開

「クロール」を展開したらその中にある「robots.txtテスター」をクリック

すると次の画像のようなrobots.txtテスター画面画面が開きます。

このrobots.txtテスターで使える機能は次の３つ

• robots.txtの構文チェック
• URLがブロックされているかのテスト
• robots.txtの送信

この３つの使い方について順に紹介していきます。

robots.txtの構文チェック

robots.txtは検索エンジンのクローラーが見て理解できる一定のルールつまり構文に従って書かなくてはなりません。

ただ構文エラーやささいなミスというのは人間が気付きにくいので、robots.txtテスターには次のようにこれをチェックしてエラーまたは警告を出してくれる機能があります。

エラーチェック

例えばrobots.txt内で構文エラーとなる次のような１行を書いたとします。

Disarrow: /example/

これは「Disallow」を間違えて「Disarrow」と書いてしまっているので構文エラーです。

このようなエラーがあるとその行の前に次のようにその行の前にエラーマークが付きます。

案外こういう綴りミスというのは人間が気付きにくいものなので、エラーを表示してくれる機能は便利かもしれませんね。

警告

robots.txtテスターは構文的にはエラーではないけど正しい構文ではない場合には警告も表示する機能もついています。

例えば構文的には「Disallow」の次にはコロン(:)が必要ですが、それを次のように省いてしまったとします。

Disallow /example/

このような正しくない構文が見つかった場合、テスターではその行に次のような警告マークが表示されます。

そして警告マークにホバーすると具体的にどこがダメなのかという点も指摘してくれます。

このようにテスターには編集画面上で構文エラーや警告を表示する機能があるので、正しいrobots.txtを書くのに役立つことでしょう。

URLがブロックされているかのテスト

このツールには特定URLがブロックされているか確認できる機能もあります。

その使い方は次の通り

まずテスター画面から次の画像のようなフォームを探しましょう。

そして例えば次のURLがブロックされているかどうか確認したいとします。

https://fukuro-press.com/wp-admin/

その場合はまず次のようにテキスト欄にドメイン名以下の相対パスつまりここでは「wp-admin/」と入力します。

URLを入力したら「テスト」ボタンを押しましょう。

もしそのURLがブロック済みなら次のように「ブロック済み」というメッセージが、

もしブロックされていないなら次のように「許可済み」とメッセージが表示されます。

robots.txtの内容だけだとどのURLがブロックされているのかが具体的にイメージしずらいので、その確認にこの機能が便利です。

ファイルの中身を見ても良く分からないならこの機能がかなり役に立つかもしれません。

robots.txtの送信

robots.txtテスターには編集画面がありますが、直接この画面上ではrobots.txtの内容を更新することができません。

ではどうするかというとまずテスターの編集画面右下にある「送信」ボタンを押します。

すると次のように更新手順が表示されるので、その指示に従ってrobots.txtをダウンロードしてバージョンを確認しGoogleに更新をリクエストしましょう。

ただ単にrobots.txtをサーバーにアップロードしただけでは不十分なので、必ずこの手順に沿って更新処理を行うようにしてください。

まとめ

ここまでで紹介したrobots.txtテスターの機能は次の３つです。

• robots.txtの構文チェック
• URLがブロックされているかのテスト
• robots.txtの送信

構文チェック機能は人間では気づけないエラーや警告を見つけられ、未然にクロールエラーを防ぐことができるので積極的に活用していきたいですね。

またブロックされたURLを調べたり、robots.txtの送信などのSearch Consoleならではの機能も利用できるのでもし使ったことがないなら利用してみてください。

以上ここではSearch Consoleのrobots.txtテスターの使い方について解説しました。