公開したサイトをGoogleやYahoo!等の検索結果に反映させないために、有効な方法として「robots.txt」ファイルを設置する方法があります。
今回は、「robots.txt」の記述方法をご案内いたします。
Google、Yahoo! などの検索エンジンでは、『クローラ』と呼ばれるロボットがインターネット上にあるサイトを周期的に巡回して、検索エンジンのデータベースを更新していきます。
「robots.txt」 とは、この『クローラ』に自分のページが、検索エンジンのデータベースに登録されないよう指示ために使用するファイルとなります。
<すべての検索クローラで、検索結果に反映されないよう設定したい場合>
▼対象例:「web」フォルダ以下全てのページ
[1] ヘテムルFTP にログイン
[2] 「web」をクリック
[3] 【新規ファイル作成】をクリック
[4] 以下の内容を記述して【保存する】をクリック。
- ファイル名:robots.txt
<記述内容>
User-agent: *
Disallow: /
◇記述内容について
上記記述は、以下のような意味がございます。
- User-agent: * →全てのクローラが対象
- Disallow: / → robots.txt を設置した階層以下で検索対象にしない
「robots.txt」を設置いただいても、クローラがその記述に従わず、検索結果に反映される可能性がございます。
【参考】robots.txt ファイルについて│Googleウェブマスターツール
※『 robots.txt の限界を理解する 』をご参照ください。
そのため、ページを非公開としたい場合は、以下の様な方法をとっていただくことをご検討ください。
- 「アクセス制限(Basic認証)」を行う
- 「特定のIPのみ接続許可・特定のIPのみ接続拒否」を行う