時間をかけて作ったページがSearch Consoleのインデックスカバレッジで除外されている件について

Googleのクローラーがブログの半数近くのページを除外していることが判明！ショック！

私はこのブログをはじめて、前の他のブログと統合して総合の運営年数では3年目くらいになると思うのですが、このブログに引っ越してこのテンプレートを使ってからアクセスがやたら少ないことが問題でした。原因を探るべくSearch Consoleのインデックスカバレッジを見てみると、なんと多くの記事がインデックスに登録されていないことが判りました。

クロール済み - インデックス未登録 というところでインデックスされていないことが示されているのですが、これは事実なのでしょうか？

クロール済み - インデックス未登録 の内訳を見てみると手間暇かかったページもインデックスされていません。/search/という検索結果や/年/月/といったアーカイブの検索結果画面が除外されるのは当然として、さすがに何時間もかかって作ったページがインデックスされていないことはショックでした。

先日はrobots.txtがブログのシステムで勝手にクロールしないことになっていて（表面上はクロールする設定になっていたので気づかなかった）、訪問者数や広告収入面で不利益を被っていました。明らかに原因はBloggerというブログサービスにありました。

別にどうこう言うつもりはないのですが、真面目に時間をかけて撮影したり写真を加工したりしているわけですから、そのページが検索結果にインデックスされていないということは大問題です。再クロールを申請してみましたが、本当に大丈夫なのでしょうか。

しかし旧といいますか、前のタイプのSearch Consoleにはインデックスされていないページの存在は伝えられていません。

新しいSearch Consoleが正しいのか？従来型のSearch Consoleが正しいのか混乱してしまいます。

search console インデックスカバレッジ 送信されたURLにnoindexタグが追加されています

そもそも私のブログが閑古鳥泣いていた原因はこれでした。「search console インデックスカバレッジ 送信されたURLにnoindexタグが追加されています」というメッセージとともに1月2月のグラフにnoindexでインデックスされなかったページの総数が示されています。

このグラフを見てみると、3月の時点でインデックスされていないページが2件しかないことがわかります。でもインデックスカバレッジにはもっとたくさんのページがインデックスされていないことが示されていました。矛盾するデータが示されているわけです。

警告：robots.txt によりブロックされましたが、インデックスに登録しました

さらにベータ版のSearch Consoleを見てみると、明らかに直近のページがrobots.txtによりブロックされていることが示されています。しかしそれにもかかわらず、Googleのロボットは私のページを有用と見なしたのか、インデックスに登録してくれています。つまるところ、Googleが必要と判断したページはrobots.txtが断ってもインデックスされているのです。ならばクロールしないようにrobots.txtが設定したとして、文字通りインデックスされなかったページはGoogleのクローラーにとっても有用ではない可能性があるのです。もちろんユーザーの反応があれば、不要論は撤回するのではないかと思います。

1か月半後の後日談

しばらくブログ管理を放置気味にしていたら、新しいSearch Consoleの「ステータス>インデックスカバレッジ>クロール済み-インデックス未登録」のページでインデックスされていないページが大きく減少していました。

これに比例するように私のこのブログへのアクセスが鰻登りとはいわないまでも、ちょろちょろと増えて行きました。実は今年の直近にアップしたページでさえ「除外」されていたので、再度クロールを申請していました。再クロールが影響あったのかどうかわかりませんが、一か月後には今年のブログ記事はすべてインデックスに登録されていました。

インデックス未登録ページの推移です。4月の中旬に80ページ近くに急上昇していましたが、5月の終わりには37ページになっていました。

見ての通り、（複数のブログを引っ越して統合したため）アクセスほぼ0の閑古鳥が鳴いていたこのブログにインデックス未登録ページが減少することによりアクセスが増えてきました！ヘルプフォーラムにインデックスカバレッジの表示にはタイムラグがあると書かれていましたが、そんなことはなかったです！本当にアクセスが無かったのですから、本当にインデックスに反映されていなかったのではないかと思います。

このページも内容が増えましたので再度Fetch as googleに申請しておきたいと思います！