robots.txtの記述方法

Pocket

公開したサイトをGoogleやYahoo!等の検索結果に反映させないために、有効な方法として「robots.txt」ファイルを設置する方法があります。

今回は、「robots.txt」の記述方法をご案内いたします。

「robots.txt」とは

Google、Yahoo! などの検索エンジンでは、『クローラ』と呼ばれるロボットがインターネット上にあるサイトを周期的に巡回して、検索エンジンのデータベースを更新していきます。

「robots.txt」 とは、この『クローラ』に自分のページが、検索エンジンのデータベースに登録されないよう指示ために使用するファイルとなります。

記述内容

<すべての検索クローラで、検索結果に反映されないよう設定したい場合>

対象例:「web」フォルダ以下全てのページ

[1] ヘテムルFTP にログイン

[2] web」をクリック

[3] 新規ファイル作成】をクリック

1-1

[4] 以下の内容を記述して【保存する】をクリック。

  • ファイル名:robots.txt

<記述内容>

User-agent: *
Disallow: /

2-1

◇記述内容について

上記記述は、以下のような意味がございます。

  • User-agent: * →全てのクローラが対象
  • Disallow: / → robots.txt を設置した階層以下で検索対象にしない
注意事項

「robots.txt」を設置いただいても、クローラがその記述に従わず、検索結果に反映される可能性がございます。

【参考】robots.txt ファイルについて│Googleウェブマスターツール
※『 robots.txt の限界を理解する 』をご参照ください。

そのため、ページを非公開としたい場合は、以下の様な方法をとっていただくことをご検討ください。

Pocket