検索避けはそもそも何それどうやるの。という部分もあるかもしれません。
仕組みを先に押さえてから、下のファイルをお使いください。
そもそも検索避けとは
Googleなどは、世界中のサイトを自動で巡回するプログラム（クローラー、ロボットなど）を動かしています。これがサイトを見つけて中身を読み、検索結果に載せます。
検索避けとは、この巡回プログラムに「うちは見に来なくていいです」と伝える作業のこと。
大事な前提として、これはお願いベースの仕組みです。行儀のいい検索エンジンは従いますが、無視して読みに来る相手もいます。URLを知っている人は普通に開けます。検索避けは検索から来る人を減らすものであって、鍵をかけて閉じる機能ではありません。
どういうファイルなのか
robots.txt は、巡回プログラムに宛てた「お願いを書いた紙」です。サイトに1枚置くと、巡回プログラムが最初にこれを読みに来ます。中身はこれだけです。
1行目が「誰に向けたお願いか」、2行目が「何をお願いするか」。以上。
つまり上の2行は「全部の巡回プログラムへ。うちはサイト全体を見に来ないでください」という内容になります。
置き場所を間違えると効きません
robots.txt はサイトの一番外側、インデックスと同じ階層に置いた時だけ有効です。散らかるからと言ってフォルダの中に入れると無視されます。
無料サーバなどでは、自分のサイトが最初からフォルダの中（example.com/~yourname/ のような形）に置かれていることがあります。その場合は置く場所そのものがないので、この方法は使えません。次に説明するタグを使ってください。
これだけでは消えないことがあります
Disallow: / がお願いしているのは「中身を読みに来ないで」であって、「検索結果に載せないで」ではありません。
そのため、余所のサイトからリンクが貼られていると、中身は読まれないままURLとサイト名だけが検索結果に出てしまうことがあります。「置いたのに検索に出てくる」の正体は大抵これです。
検索結果に出したくない場合に確実なのは、次の1行を各ページの head の中に書く方法です。
noindex が「検索結果に載せないで」、nofollow が「このページのリンクを辿らないで」という意味です。
こちらはファイル1枚では済まず、検索に出したくないページ全てに1行ずつ書く必要があります。手間はかかりますが、フォルダの中のサイトでも効きますし、確実です。
両方やると逆効果になります
念のため両方入れておこう、と考えたくなりますが、この組み合わせは噛み合いません。
robots.txt で「見に来ないで」とお願いすると、巡回プログラムはページを開かなくなります。
すると、ページの中に書いた noindex の1行を読んでもらえません。
折角のお願いは、相手に届かないまま終わります。
検索結果から確実に消したい時は、robots.txt では止めず、head に書くタグのほうを使ってください。
ダウンロード
下のボタンから robots.txt を保存できます。保存したファイルを、サイトの一番外側（トップページと同じ階層）にアップロードすれば設置完了です。ふつうのテキストファイルなので、あとから中身を書き換えても構いません。
3種類あります。自分に合うものを1つだけ選んでください。中身は上の枠に書いてあるとおりです。
A. 検索避けをしない
検索結果に載せたい場合。「全部見に来て大丈夫です」という内容です。
B. 検索避けをする
検索結果に載せたくない場合。「サイト全体を見に来ないで」という内容です。
このファイルだけでは検索結果に出てしまうことがあるので、上に書いた head のタグも必ず読んでください。どちらか片方を選ぶなら、確実なのはタグです。
C. 検索には載せるが、AI学習は断る
検索結果には出したいけれど、生成AIの学習用に読んでいくプログラムは断りたい場合。検索エンジンに許可を出したうえで、AI関連の巡回プログラムを名指しで断る内容です。
GPTBot、ClaudeBot、Google-Extended、PerplexityBot、CCBot など16種類を書いてあります。この種のプログラムは次々に増えるので、これで全部を網羅できるわけではありません。増やすときは、下の2行を書き足してください。
置いた後の確認
アップロードしたら、ブラウザのアドレス欄に「自分のサイトのURL/robots.txt」と入力して開いてみてください。保存した中身がそのまま表示されれば、正しく置けています。
「見つかりません」と出る場合は、置き場所が違うか、ファイル名が違っています。robot.txt ではなく robots.txt です。s が付きます。
なお、検索結果への反映はすぐには起きません。検索エンジンが次に巡回しに来るまで、数日から数週間かかります。既に検索に出ているページを急いで消したい場合は、Google Search Console の削除ツールから申請する方法もあります。
検索避けは、あくまで検索から人が来にくくするための手段です。
SNSに貼ったリンクからは普通に人が来ます。
閲覧そのものを制限したい場合は、パスワードをかける方法を検討してください。
