2026/11/19
ホームページ制作
「robots.txt によりブロックされましたが、インデックスに登録しました」
2021年4月、Google Search Consoleからこんな警告メールが届きました。調べてみると、検索結果に出てほしくないWordPressの管理画面(wp-admin)のURLが、Googleに登録されていたのです。robots.txtで「入らないで」と書いていたはずなのに、です。
そのときの対処は、ブログに備忘録として残しています。今回あらためて読み返してみると、対処の手順は結果的に正しかったものの、原因の理解は間違っていたことに気づきました。
ホームページを作っていると、「このページは検索に出したくない」という場面は意外と多くあります。今回は自分の勘違いを材料に、robots.txtとnoindexの違いを、初心者の方にも分かるように整理してみます。
先に、Googleの検索結果にページが出るまでの流れを簡単に押さえておきます。
ポイントは、「見に来る(クロール)」と「登録する(インデックス)」が別の段階だということです。robots.txtとnoindexの違いは、ここを分けて考えるとすっきりします。
robots.txtは、サイトの一番上の階層に置く小さなテキストファイルです。クローラーに対して「このフォルダには入らないでください」とお願いするためのものです。
当時の私は、次のように書いていました。
User-agent: *
Disallow: /wp-admin/
「すべてのロボットは、/wp-admin/ 以下に入らないで」という意味です。
ここで大事なのは、robots.txtが止めるのは「クロール」であって、「インデックス」ではないということです。ほかのページからリンクされているなど、URLの存在だけをGoogleが知っている場合、中身を読まないまま、URLだけが検索結果に登録されることがあります。Search Consoleの警告「robots.txt によりブロックされましたが、インデックスに登録しました」は、まさにこの状態を指していました。
2021年の記事で、私は原因をこう書いています。「Disallow: /wp-admin/ だと wp-admin/index.php だけがブロックされて、下層ページはブロックされないようです」。
今読むと、これは正確ではありませんでした。robots.txtのDisallowは、書いた文字列で始まるURL全体に効きます。「/wp-admin/」と書けば、その下のファイルもまとめてクロールの対象外になります。
つまり実際は、「下層ページがブロックされていなかった」のではなく、「ブロックはされていたが、それとは関係なくURLだけが登録された」というのが正しい読み方です。当時は警告の文言をそのまま受け取り、ブロックが効いていないのだと思い込んでいました。
では、検索に出したくないときはどうすればいいのか。使うのがnoindexです。ページのHTMLのheadに次の1行を入れると、「このページは検索結果に登録しないでください」という合図になります。
<meta name="robots" content="noindex">
HTMLを書き換えられないファイルやフォルダ全体に設定したいときは、サーバーの返事(HTTPヘッダー)で同じ合図を送る方法もあります。2021年の私は、wp-adminフォルダに.htaccessを置いて、次の1行を書きました。
Header set X-Robots-Tag "noindex, nofollow"
そして、robots.txtからは「Disallow: /wp-admin/」を消しています。
ここが、結果的に正しかった部分です。noindexは、クローラーがページを読みに来て初めて伝わります。robots.txtで入り口を閉じたままだと、せっかくのnoindexが読まれません。「隠したいなら、むしろ中に入ってもらってnoindexを読ませる」という、少し直感に反する順番になります。
当時は理屈が分からないまま「参考サイトの手順どおり」にやっていたので、今回読み返して、ようやく腑に落ちました。
初心者の方向けに、ざっくり整理するとこうなります。
最後の点は大事です。robots.txtは誰でも読めるファイルなので、「ここは隠したい」と書くと、かえって場所を知らせることにもなります。見られて困るものは、そもそも公開しないのが一番です。
今回、この記事を書くために、このブログの今のrobots.txtをブラウザで開いてみました。robots.txtは「https://ドメイン名/robots.txt」で誰でも見られます。
wp-adminの行は、2021年に消したとおり、ありませんでした。一方で、テスト用に作った古いフォルダのほかに、「Disallow: /wp-content/」という行が入っていました。
WordPressでは、記事に載せた画像は /wp-content/uploads/ に、テーマのCSSやJavaScriptも /wp-content/ の下に入ります。ここを丸ごとブロックすると、Googleが画像を読めず、画像検索に出にくくなる可能性があります。
Googleは、ページの見た目を正しく判断するためにCSSやJavaScriptをブロックしないよう案内しています。 古い設定は、書いた本人も忘れたまま残り続けます。慌てて消す前に、Search Consoleで影響を確かめてから見直すつもりです。
robots.txtとnoindexが「来ないで」「登録しないで」なら、サイトマップは逆に「このページを見てください」という案内です。
サイトマップでも、つまずいた記録があります。2016年には、Google XML Sitemapsというプラグインを4.0系に上げたら、Search Consoleでサイトマップの登録ページが0件のエラーになりました。古いバージョンに戻して再送信して解決していますが、「プラグインはとりあえず上げればいいわけではない」と学んだ一件です。
また2017年には、PS Auto Sitemapというプラグインで、人が見るためのサイトマップページも作りました。名前は同じ「サイトマップ」でも、Googleに渡すXMLのサイトマップと、訪問者向けの目次ページは別物です。
なお、今のWordPressは本体だけでもXMLのサイトマップ(wp-sitemap.xml)を出せるようになっています。このブログでも、sitemap.xml が表示されることを確認しました。
ホームページ制作では、公開前のテスト環境が検索に出てしまわないよう、noindexやアクセス制限をかけておくことがあります。そして公開時には、そのnoindexを外し忘れないことが大切です。WordPressの「設定」→「表示設定」にある「検索エンジンがサイトをインデックスしないようにする」のチェックが、公開後も入ったままだった、という話はよく耳にします。
設定したら終わりではなく、Search Consoleの「ページ」の項目や、URL検査ツールで、狙いどおりになっているかを時々見るのが安心です。私自身、警告メールが来て初めて気づいたので、定期的に見る習慣をつけたいところです。
5年前の備忘録は、手順としては合っていたのに、理由の説明が間違っていました。それでも、書き残していたからこそ、今こうして「どこを勘違いしていたか」に気づけました。手順だけでなく「なぜそうするのか」も一緒にメモしておくと、数年後の自分がもっと助かるはずです。
2026/11/19
ホームページ制作
2026/11/18
Mac
Linux
2026/11/17
Claude Code
AI
2026/11/16
Wordpress
プラグイン
WordPressのログイン対策、入れっぱなしで大丈夫?reCAPTCHAの乗り換えと締め出しの備忘録から分かった5つのこと
2026/11/15
バイク