Robots.txtが正しいかどうか確かめ修正する方法

Robots.txtがおかしい！？

私はこのブログを立ち上げてだいぶたつのですが、なぜかこのブログだけやけにアクセスが少なくて困っていました。無料ブログサービスの公開設定を見ても「公開」「検索に登録する」などという設定になっており、だれも見に来ない原因がわかりませんでした。ところがある日、Google Search ConsoleのStatus＞Index coverage＞Crawled - currently not indexedを見てみると、なぜか数々の私の記事がインデックスに登録されていないことがわかりました。

Search Console Crawled - currently not indexed

Search Consoleには"Search Console Crawled - currently not indexed"と書かれてhtmlページがずらりと羅列されていました。いわゆる現在インデックスされていないページ一覧です。これはショックです。毎回Fetch as Googleでクローラーに申請していたのにこれはいったいどういうことなのか。

現在のこのブログ(Blogger=blogspot)のrobots.txtは次のようになっています。アクセスのあるブログのrobots.txtとまったく同じなのでおそらく大丈夫でしょう。

User-agent: Mediapartners-Google

Disallow:
User-agent: * 

Disallow: /search 

Allow: /

 Sitemap: https://digiota.blogspot.com/sitemap.xml

searchカテゴリだけインデックスに登録しない申請になっています。

これはBloggerというブログサービスで自動で非公開→公開とオンオフしてみた結果です。一応はオッケーかと思うのですが、これでもまだインデックスからページが除外されていました。

2018年3月時点のrobots.txtは次の通りです。修正前はなぜかわかりませんが、変なことになっていました。

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search

Disallow: /

User-Agent: googlebot

Disallow: /search

Allow: /

これが、今までの私のブログの設定です。

ブログを公開する設定にしていたにもかかわらず、robots.txtに内容は反映されていなかったみたいです。なぜだかわかりません。私が書き換えたのか？まったく記憶にありませんし、そのような知識も持ち合わせていません。心当たりがあるとすれば、このブログだけアドセンスにブログ内サービスから参加したことです。クローラーにアドセンスの項目が入っているので、私がアドセンスに参加するボタンを押したことが関係しているとしか思えません。

内容を解読すると、Mediapartners-Googleというのはアドセンスのクローラーのことらしいです。User-agent: *はすべてのクローラーに対しての命令文です。なぜかDisallow: /となっており、すべてのページがクロール禁止になっていました。そのくせgooglebotだけはAllow: /となっており意味がわかりません。いったいどうしてこんなことになってしまったのか意味不明。私はrobots.txtなど一度も触ったことがないにもかかわらず。

要するにクロール禁止の設定になっていました。

もう一度ブログの公開設定を非公開→保存→公開→保存としてみたら、設定は正常に直りました。

みなさんも一度ご自分のサイトのrobots.txtを見てみてくださいね。