Googlebotをブロックしてしまった

新・新サイトは順調にアクセス数を伸ばす

8月21日に開設した新・新サイトは、開設初日からアクセス数を伸ばしていった。インデックスも、以下の数字のように日毎に増加していった。

15⇒19⇒41⇒42⇒111⇒178⇒276
しかし、開設してすぐに現在にも尾を引く重大なミスを犯してしまった。GoogleはGooglbotという検索ロボットを巡回させており、それをブロックすることでインデックスに不要なURLを掲載しないようにした方がよい、という記事を見てしまったのである。この時、ウェブマスターツールのヘルプを確認すれば良かったのだが、それを怠ってしまったのであった。結果的に誤った情報であった訳だが、ブロックすべし、と主張していたサイトの記事を一部抜粋した。

重大なミスを犯すキッカケとなった記事

WordPressにとっては、たとえば管理系のファイルなど検索エンジンには必要ではないコンテンツをもっているため、robots.txtの設置は大切です。また、WordPressで生成したページはカテゴリフォルダ、毎月のアーカイブ、タグ一覧など複数のページから同じページを見つけることができます。Googleはコンテンツの複製を好きではないため、こういったものも阻止するようにします。

robots.txtを書き換えて新・新サイトにアップ

Googlebotは、サイトに行くとまず最初にrobots.txtを見に行く。そこにブロックするぺーじやURLがあった場合、Googlebotはクロールを行なわない。クロールされたページやURLの中からインデックスされることから、ブロックされたページやURLはインデックスされないことになる。
一つ前の新サイトでも記事数（ページ数）は100チョイしかないにもかかわらず、その10倍ぐらいはインデックスされていた。当然、同じページがダブっていることから、それを少なくした方がよいという意見に納得してしまったのである。早速robots.txtの書き換えを行なった。

下記のように書き換えました。これは参考のために転載したものです。

決してサイトにアップしないで下さい。

User-agent: Googlebotdisallow: wp-login.php
disallow: /wp-admin/
disallow: /wp-content/
disallow: /wp-includes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Sitemap: http://cyapa.net/sitemap.xml.gz

ｒobots.txt書き換えはやるべきではない

しかし、ここで疑問に思ったのは、英文のサイトを中心に同様の記事が沢山あることである。一方、この書き換えで失敗したという内容の記事は見当たらず、同様のことを最近でも提案しているサイトがあるということである。私が経験したことの原因がrobots.txtの書き換えではなかったのだろうか。
順調にアクセス数を伸ばしていた新・新サイトだが、開設して2週間後にはアクセスがバタリと止まってしまった。本当にバタリという表現が当てはまるのだが、1週間に1ユーザーぐらいで後は毎日ゼロの状態となってしまった。robots.txtの書き換えが開設3日後の8月23日であり、アクセスが急停止したのがその10日後である。その関連性に気付くのは、アクセスが急停止した１カ月後の10月2日のことであった。ウエブマスターツールのヘルプに以下の記述があったのである。