電子的な日常

OILSTANDのパチスロ、プログラミング、電子工作等を記録するブログです。

robots.txtの書き方【備忘録】

更新日:2014-09-05 17:00:02

どうも!
最近書く内容に困っているOILSTANDです。

書ける内容はたくさんあるはずなんですが、
どれを書いていったらよいのか分からない感じなんですよね。。
その結果、このブログ。内容があっちこっちに飛んでますw
もうちょっとまとまったブログの方がいいのかなぁ。。。?

今回は検索サイトで検索された際に表示される順番を決めるボットの手助けをするためのファイル。「robots.txt」について書きたいと思います。

ロボットはいろいろなサイトを巡回して情報を収集したり、サイトを評価して回ります。
その際に、アクセスしてほしくない場所や、サイトの案内をするのが「robots.txt」です。

まず、「robots.txt」を置く場所は、ルートドメインのみで他の場所においても効果はありません。
このサイトであれば、「http://www.shimesaba.jp/robots.txt」となるようにします。

robots.txtの内容

User-Agent:*
Disallow: [アクセスされたくない相対URL]
Sitemap: ??????/sitemap.xml

User-Agent:

これはどのクローラーに指示するのかを指定できます。
「*」とすると、全てのクローラに対して有効となります。

User-Agent: Googlebot

このように指定すると、グーグルのweb検索クローラに対しての指定になります。
グーグルクローラリスト

Disallow:

これはアクセスされたくないファイルを指定するものです。

Disallow: /
Disallow: /blog/
Disallow: /blog/myfile.html
Disallow: /myblog/*.html$
Disallow: /*?

上から、
サイトの全てのファイルへのアクセスをブロック。
blogディレクトリ内ファイルへのアクセスをブロック。
blogディレクトリ内myfile.htmlへのアクセスをブロック。
myblogディレクトリ内の.htmlで終わるファイルへのアクセスをブロック。
?を含むURLへのアクセスをブロック。
と、なります。

Allow:

Disallowと同じように指定します。Disallowでブロックした中でブロックしたくないファイルがあった場合これで指定します。

Sitemap:

サイトマップへのURLを記述する。

Sitemap:http://www.shimesaba.jp/blog/sitemap

記入しておくと良いようです。まだ作ってないので作らないとなぁ。。。

参考:robots.txtの書き方と効果的な活用法 バズ部さんより

777タウン・攻略ブログ
777Townブログランキングへ
↑応援よろしければお願いします!(1日1クリック)
TOPへ戻る
TOPへ戻る

プロフィール

名前:OIL_STAND

アニメ、パチスロ、イラスト、IT(WEB,3DCG,IoT) に強い興味を持つ社会人3年目になるオタク 一応技術屋さん

自己紹介ページ


© Shimesaba.jp 2014
一部の画像は Sammy Networks Co. に帰属します。

Page rendered in 0.0303 seconds