Fetch as Googleがrobots.txtに拒否される
10月11日、3回目のサイト移転を行ない、第４世代のサイトをオープンした。サイト自体は6日に構築し、WordPressのプライバシー設定を「 検索エンジンによるサイトのインデックスを許可しない」とした上でMaintenance Modeというプラグインを動かしていた。Maintenance Modeは他者のアクセスに対しては「メンテナンス中」と表示するが、管理者のアクセスは自由に行なえ、メンテナンスを行なうことができる。11日に プライバシー設定を「 検索エンジンによるサイトのインデックスを許可する」に変更し、Maintenance ModeをOFFにしたのであった。
オープンと同時に、ウエブマスターツールでFetch as Googleを行なった。しかし、 「robots.txtにより拒否されました」というエラーになる。何度やっても同じであり、結局はあきらめることとなった。
Fetch as Googleは実際のサイトにアクセスする訳ではなく、Googlebotに保存してあるサイトにアクセスする。したがって、Googlebotが持っているrobots.txtは古いファイルであり、トップページ以外をブロックする内容のままとなっている。robots.txtが新しいものに書き換えられるのは、1日程度の時間が必要とされている。
トップページしかインデックスされていない
翌朝（12日）、「site:サイトのURL」でGoogle検索すると、トップページがインデックスされているのが確認できた。しかし、インデックスされたページは他になく、トップページのみの1件であった。また、キャッシュを見ると、オープン前の「メンテナンス中」という表示したものが残されている。これは昨日のFetch as Googleがrobots.txtによってブロックされたのと同様、何らかの理由でトップページ以外がブロックされているとしか考えられない。
昨日失敗したFetch as Googleを再度試みた。これは何度目かで「成功しました」となり、これで一挙に問題が解決するのではと思った瞬間であった。しかし、現実はそんなに甘くはなかった。トップページのみのインデックス、という状態がその後も続いたのである。
サイトマップの送信で警告表示
翌朝（13日）も同じ状態であったことから、今度はウエブマスターツールでサイトマップを送信してみた。最初のうちはエラーになったが、そのうちようやく成功した。しかし、夕方確かめてみると、サイトマップのページに「警告540」と表示されている。しかし、サイトそのものは「問題なし」と表示されている。どうすれば良いか分からず、3日目も何の進展もなく終わった。
サイトマップの送信後、ステータスに「警告」と表示されることがあるらしい。しかし、特に気にする必要はないという記事がネット上で見つかった。私の場合も、何の処置もしないまま自然に「警告」は消滅した。
翌14日、インデックスに関しては相変わらず トップページのみ、「メンテナンス中」の表示で変わらず。しかし、午後に確認すると、インデックスの「警告」が消えて「保留」になっていた。翌朝（15日）、今度は保留が取れてインデックスが「1」と表示された。サイトタイトルで検索すると、普通に検索ページのトップに表示された。第４世代のサイトをオープンして4日目のことであった。
