robots.txtがDisallowになってたよ~。
Posted on | 3月 30, 2010 | No Comments
検索エンジンさんがせっかくクローラープログラムを走らせて、わざわざサイトの構造を探ってるというのに、「却下」
する設定になっていたとは・・・。
これはWordPress MUの設定で発見したことです。概要としては
- Google先生でsitemapを登録した翌日に「robots.txtでけられたぞ」メッセージを発見。
- なるほど蹴る設定になっていたことを発見。
- しかし、robots.txtなるファイルそのものは存在しない。
- WPMUの該当ブログのプライバシー設定では、ちゃんと公開するようになっている。
で、結局シングルWPの情報を使ってみました。
明示的にrobots.txtを作ってあげないとDisallow設定になることがあるとのこと。
場所はWPMUのルート。
書式は
User-agent: *
Allow: /
細かな設定をするんであればそれなりのサイトで探してください。あ~めんどくさい。今のところ「来ないでください」
設定はしないつもり。
すごいもんで、この一つのファイルだけでWPMUにぶら下がっているすべての子ブログのrobots.txtがAllowになった。
Comments
Leave a Reply


