WordPress サイトには既に robots.txt ファイルがあり、あなたがそれに触れたことがあるかどうかに関わらず、検索エンジンのクローラーが何にアクセスできるかを決定しています。
これらの決定のほとんどは無害です。しかし、一つでも不適切なルールを選択すると、クローラーが実際に発見してほしい URL から遠ざけてしまう可能性があります。
このガイドでは、robots.txt ファイルが現在何を行っているのか、コードに触れることなく編集する方法を説明します。
このガイドで説明する内容は以下のとおりです。
robots.txtファイルとは何ですか？
Robots.txt は、サイトのどの部分をクロールできるかを検索エンジンボットに伝えるプレーンテキストファイルです。
このファイルは、ウェブサイトのルートディレクトリ（メインフォルダ）にあります。基本的な形式は次のようになります。
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
必要に応じて、ルールやサイトマップをいくつでも追加できます。URL を disallow しない場合、ボットはそれをクロールできると想定します。
ブログを開始したばかりの頃は、robots.txt ファイルがなくてもサイトは正常に機能します。しかし、コンテンツが増えるにつれて、このファイルはより役立つものになります。
検索エンジンは、各ウェブサイトにクロールバジェットを与えます。これは、指定された期間内にクロールするページの数です。重要でないページをブロックすることで、ボットが検索結果に表示したいコンテンツにそのバジェットを費やすのを助けることができます。
これは、数千ページを持つ大規模なサイトで最も重要です。
robots.txt はクロールを制御するのに役立ちますが、インデックス作成を制御するものではないことを覚えておいてください。
- クロールとは、検索エンジンボット（Googlebot など）がコンテンツを発見するためにウェブサイトを訪問することです。
- インデックス作成とは、そのコンテンツを巨大な検索データベースに追加して、検索結果に表示できるようにすることです。
図書館員が新しい本を読んでいる（クロール）そしてそれを図書館のカタログに追加している（インデックス作成）と考えてください。
つまり、robots.txt はコンテンツを非表示にするための良い方法でもありません。なぜなら、他のウェブサイトがリンクしている場合、disallow されたページでも検索結果に表示される可能性があるからです。確実にページを Google から除外するには、代わりに「noindex」メタタグを使用してください。これにより、検索エンジンはそのページを一切リストしないように指示されます。
Robots.txt の例とベストプラクティス
ほとんどの WordPress サイトでは、robots.txt ファイルをかなりシンプルに保つことができます。推奨する基本的な設定は次のとおりです。
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
各ルールが何をするかを示します。
Allow: /wp-content/uploads/は、検索エンジンが WordPress メディアライブラリにアップロードされた画像やその他のファイルをクロールできるようにします。Allow: /wp-admin/admin-ajax.phpは、WordPress の AJAX ハンドラーにアクセスできるようにします。テーマやプラグインは、ページを更新せずにコンテンツを読み込んだり更新したりするためにこのファイルを使用する場合があります。Disallow: /wp-admin/は、検索結果に表示したいコンテンツが含まれていない WordPress 管理エリアへのクローラーのアクセスを防ぎます。Disallow: /readme.htmlは、WordPress のデフォルトのreadme.htmlファイルへのクローラーのアクセスを防ぎます。このファイルは検索エンジンにとって有用ではないため、クローラーがアクセスする理由はほとんどありません。Disallow: /refer/は、/refer/プレフィックスを使用するアフィリエイトまたはその他のリダイレクト URL をたどるクローラーを防ぎます。サイトでこれらのリンクに別のプレフィックスを使用している場合は、/refer/を独自のプレフィックスに置き換えてください。Disallow: /?s=は、WordPress の内部検索 URL のリクエストをクローラーから防ぎます。これらのページは一般的に検索エンジンにとって有用なランディングページではなく、クロールする多数の不要な URL を作成する可能性があります。Sitemapは、XMLサイトマップの場所を検索エンジンに伝えます。これにより、クロールさせたいURLを検索エンジンが見つけやすくなります。
これらは、WPBeginnerで使用しているものと同じ基本的なルールの種類です。ライブファイルはwpbeginner.com/robots.txtで確認できます。本番ファイルには、はるかに大きなサイト用の追加ルールが含まれていますが、基本的な原則は同じです。
ワイルドカード*を使用すると、すべてのクローラーに適用されることに注意してください。
たとえば、このルールはGooglebotが/private/フォルダをクロールするのをブロックします。
User-agent: Googlebot
Disallow: /private/
一般的なユーザーエージェント名には、Googlebot（Google）、Bingbot（Bing）、Baiduspider（Baidu）などがあります。
WordPress で Robots.txt ファイルを作成する方法
WordPressでrobots.txtファイルを作成するには2つの方法があります。あなたに最適な方法を選択できます。
All in One SEO を使用して robots.txt ファイルを編集する方法 1
All in One SEO（AIOSEO）、Yoast、Rank Mathなどのほとんどの 無料WordPress SEOプラグインでは、WordPressダッシュボードから直接robots.txtファイルをカスタマイズできます。
WPBeginnerではAIOSEOを使用しています。AIOSEOの無料版は、入力中にrobots.txtルールを検証するのに役立ち、公開前に構文エラーを検出できます。
プラグインがアクティブになったら、WordPressダッシュボードのAll in One SEO » Toolsに移動するだけです。Robots.txt Editorが表示されます。「カスタムRobots.txtを有効にする」トグルをオンにして編集を開始します。
エディターには、WordPressが独自に生成するデフォルトのルールが表示されます。
ここで独自のルールを追加できます。「User Agent」フィールドにユーザーエージェントを入力するか、*を使用してすべてのボットにルールを適用します。
次に、Directive列で「Allow」または「Disallow」を選択し、「Value」フィールドにファイルまたはフォルダパスを入力します。別のルールを追加するには、「Add Rule」ボタンをクリックします。
最終的なファイルは、画面下部にある「Custom Robots.txt Preview」で確認できます。ボットが見るであろう完全なファイルがそのまま表示されます。
完了したら、「Save Changes」ボタンをクリックしてルールを保存します。
方法2：FTPを使用してRobots.txtファイルを直接編集する
robots.txtファイルを直接編集したい場合は、この方法に従ってください。ファイルを編集するには、FTPクライアントを使用するか、WordPressホスティングパネルのファイルマネージャーを使用する必要があります。
何かを編集する前に、現在のrobots.txtファイルのバックアップコピーをコンピューターにダウンロードしてください。これにより、問題が発生した場合に復元できます。
まず、FTPクライアントをWordPressウェブサイトに接続し、ウェブサイトのルートフォルダにあるrobots.txtファイルを見つけます。
表示されない場合は、サイトにrobots.txtファイルがまだありません。そこに作成できます。
Robots.txtはプレーンテキストファイルです。ダウンロードして、NotepadやTextEditなどの任意のプレーンテキストエディターで編集し、ルートフォルダに再度アップロードできます。
Robots.txt ファイルをテストする方法
robots.txtファイルを作成または編集した後、常にエラーがないか確認してください。小さなタイポでも重要なページが検索エンジンからブロックされる可能性があり、数週間気づかないかもしれません。
エラーがないかrobots.txtファイルをテストする最も簡単な方法は、 Google Search Consoleを使用することです。
まず、サイトがGoogle Search Consoleに接続されていることを確認してください。接続されていない場合は、WordPressサイトをGoogle Search Consoleに追加する方法のガイドに従ってください。
次に、Search Consoleダッシュボードに移動し、左下のメニューから設定を開きます。「クロール」セクションを見つけ、「robots.txt」の横にある「レポートを開く」をクリックします。
リスト内のファイルの現在のバージョンをクリックします。レポートには、Googleが見つけた最新のrobots.txtが表示され、検出された構文エラーや論理的な問題が強調表示されます。
ファイルを更新したばかりで変更が表示されない場合は、1日待ってから再度確認してください。
WordPressのrobots.txtに関するよくある質問
ここでは、読者がWordPressのrobots.txtファイルを最適化することについてよく尋ねる質問をいくつか紹介します。
1. robots.txtを使用すると、サイトのセキュリティを向上させることができますか？
いいえ、robots.txt はセキュリティ対策ではありません。このファイルは公開されており、リストされた URL へのアクセスを実際にブロックするものではありません。単に、礼儀正しい検索エンジンのクローラーへの指示を提供するだけです。
2. robots.txtでWordPressのカテゴリページとタグページをブロックする必要がありますか？
いいえ、カテゴリページとタグページをブロックしないでください。これらのアーカイブページには、クローラーが古い投稿に到達するためにたどる内部リンクが含まれているため、ブロックすると、インデックス作成したいコンテンツへの発見パスが削除されます。
3. robots.txtとnoindexタグの違いは何ですか？
これらは異なるものを制御します。robots.txtは、クローラーがURLをまったく訪問できるかどうかを制御します。noindexタグは、検索エンジンがすでに訪問したとしても、検索結果にページをリストするかどうかを制御します。
robots.txtを使用して、管理パネル、ステージング環境、またはプラグインディレクトリのような領域へのクローラーのアクセスをブロックします。noindexは、検索結果に表示させたくないが、Googleがクロールしても構わないページ（フィルタリングされたアーカイブページやサンキューページなど）に使用します。
この記事がWordPressのrobots.txtファイルをSEOのために最適化する方法を学ぶのに役立ったことを願っています。また、究極のWordPress SEOガイドや、ウェブサイトを成長させるための最高のWordPress SEOツールに関する専門家のおすすめもご覧ください。
この記事が気に入った場合は、WordPressのビデオチュートリアルのために、YouTubeチャンネルを購読してください。また、TwitterやFacebookでも私たちを見つけることができます。
デニス・ムトミ
AIOSEOプラグインを使っているのですが、何かを壊したくなかったので、「カスタムrobots.txtを有効にする」オプションは常に無視していました。しかし、この記事を読んで、サイトのrobots.txtファイルを最適化する時間をかける価値があることを確信しました。
アミット・バナジー
robots.txtのテンプレート全体が提供されていれば、役に立ったでしょう。
WPBeginnerサポート
robots.txt全体を含めました
管理者
マイケル
回答を修正した方が良いと思います。httpではなくhttpsであるべきです。プラグインファイルもdisallowするのは正しいですか？
WPBeginnerサポート
ご指摘ありがとうございます。サンプルを更新しました。プラグインを拒否する場合は、安全のために特定のプラグインを確認してください。
モイヌディン・ワヒード
robots.txtファイルに関するこの有益な投稿をありがとうございます。 ウェブサイトがGoogleボットのクロール方法を制御するためにこのファイルを維持する必要があることを知りませんでした。 始めたばかりの初心者向けウェブサイトでは、robots.txtファイルは必要ですか、それともウェブサイトのrobots.txtファイルを作成できるプラグインのような方法はありますか？
WPBeginnerサポート
ほとんどのSEOプラグインは、新しいサイトのrobots.txtの設定を支援し、ボットが本来アクセスすべきでないセクションをクロールするのを防ぎます。
管理者
イジー・ヴァネック
この記事のおかげで、robots.txt ファイルを確認し、サイトマップ付きの URL アドレスを追加しました。同時に、バリデーターによって明らかになった他の問題のある行もありました。これまで robots.txt のサイトマップについては知りませんでした。ありがとうございます。
WPBeginnerサポート
どういたしまして、ガイドがお役に立てて嬉しいです！
管理者
ステファン
こんにちは、
その投稿、ありがとうございます。robots.txtファイルの使い方がより明確になりました。robots.txtファイルに関するアドバイスを探していると見つかるほとんどのウェブサイトで、WordPressの場合、以下のフォルダがクロールから明示的に除外されていることがわかります：
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
これらのフォルダを除外する理由がよくわかりません（実際にはありますか？）。この件について、あなたの見解はいかがですか？
WPBeginnerサポート
これは主に、ユーザーがあなたのサイトを検索したときに、それらのフォルダ内のものが結果として表示されるのを防ぐためです。それはあなたのコンテンツではないため、ほとんどの人がサイトの結果に表示させたいとは思わないでしょう。
管理者
ザイド・ハリス
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
GSCは「Disallow: /wp-admin/」のカバレッジエラーを表示しています。これは間違っていますか？
WPBeginnerサポート
ほとんどのサイトでは、wp-adminから検索結果に表示させたくないため、wp-adminのスキャンを拒否した場合にカバレッジエリアを受け取るのは問題なく、予想されることです。
管理者
ハンシニ
WordPressサイトのために、指示通りrobots.txtを手動で作成しています。
1つ疑問があります。User-Agent: *と書くと、他のスパムボットも私のサイトにアクセスできるようになりませんか？
User-Agent: *と書くべきか、User-Agent: Googlebotと書くべきでしょうか？
WPBeginnerサポート
User-Agent行は、サイト上のすべてのロボットが従うべきルールを設定しています。その行に特定のボットを指定すると、その特定のボットのルールが設定され、他のボットには適用されません。
管理者
ニシャント
Googleに私の投稿をインデックスさせるには、何を記述すればよいですか？
WPBeginnerサポート
サイトをリストに載せるには、以下の記事をご覧ください。
https://014.leahstevensyj.workers.dev/beginners-guide/how-do-i-get-my-wordpress-site-listed-on-google-beginners-guide/
管理者
サンジーブ・パンデイ
/wp-content/themes/ も禁止すべきですか？
google検索で site:abcdef.com コマンドを実行すると、検索結果に表示されます。
WPBeginnerサポート
テーマフォルダをブロックすることを心配する必要はありません。SEOフレンドリーなコンテンツを作成すれば、テーマが検索結果に表示されることはなくなるはずです。
管理者
サレム
こんにちは、「Disallow: /readme.html & Disallow: /refer/ 」はどういう意味ですか？
WPBeginnerサポート
これは、検索エンジンに参照リンクや readme.html ファイルを見ないように指示していることを意味します。
管理者
ショーン
こんにちは、wp-content/uploadsをブロックすることのメリット・デメリットは何ですか
ありがとうございます
WPBeginnerサポート
アップロードフォルダをブロックすると、検索エンジンは通常、画像などのアップロードされたコンテンツをクロールしません。
管理者
ピユシュ
問題を解決してくれてありがとう
WPBeginnerサポート
どういたしまして
管理者
ラビ・クマール
ロボット.txtについて非常に混乱しています。ブロガーにサイトマップを何度も送信しましたが、3、4日後に同じ問題が発生します。ロボット.txtとは何ですか？そして、それをどのように送信すればよいですか？教えてください。
WPBeginnerサポート
お客様の具体的な問題によりますが、以下のページをご覧ください。
https://014.leahstevensyj.workers.dev/glossary/robots-txt/
管理者
プレム
robots.txt ファイルを使用して URL またはページをインデックスしないようにした場合、Google は Search Console でエラーを表示しますか？
WPBeginnerサポート
いいえ、Googleはページをリストしませんが、ページがリストされている場合はエラーは表示されません。
管理者
バーラト
こんにちは
質問があります
Googleサーチコンソールのカバレッジの問題で、robots.txtによってブロックされているという警告を受け取りました
/wp-admin/widgets.php
私の質問は、wp-admin/widgets.phpをrobots.txtで許可しても安全かどうかということです。
WPBeginnerサポート
もし望むならできますが、Googleがクロールする必要のあるファイルではありません。
管理者
アンソニー
こんにちは、/wp-admin/admin-ajax.php? を許可すべきかどうか疑問に思っています。
WPBeginnerサポート
通常は、そうすべきです。
管理者
ジャイラ
なぜ/wp-admin/admin-ajax.phpを許可する必要があるのか教えていただけますか？
WPBeginnerサポート
これは、検索エンジンで正しく表示するために、さまざまなテーマやプラグインによって使用されます。
アミラ
こんにちは！この記事は本当に気に入りました。クロールに関するすべてが初心者なので、この件について質問させてください。最近、Googleが私のウェブサイトの1つをひどい方法でクロールおよびインデックス化し、削除されたページが検索結果に表示されています。当初、WordPressの設定で検索エンジンのインデックス作成をブロックしていませんでしたが、Googleがさらに3つのページ（これらのページも存在しません）を検索結果に表示した後、ブロックしました。そして、「検索エンジンのインデックス作成をブロックする」オプションがオンになっているのに、これがどのように起こりうるのか本当に理解できません。それで、Yoastの方法は役立ち、Googleが今回適切に私のウェブサイトをインデックス化するように私のウェブサイトの解決策になりますか？よろしくお願いします！
WPBeginnerサポート
Yoastプラグインは、サイトのページが適切にインデックスされていることを確認するのに役立つはずです。検索エンジンがサイトのクロールをブロックする前に、ページがキャッシュされていた可能性があります。
管理者
アミラ
はい、そしてすべてのページから、もう存在しないものをキャッシュしました。いずれにせよ、現在のページは「discourage」設定になっているので、このままにしておく方が良いですか、それともチェックを外して、Yoastの助けを借りてGoogleに再度クロールしてインデックスに登録させる方が良いですか？ありがとうございます！あなたの記事のおかげで、すべてが簡単になりました！
WPBeginnerサポート
設定が完了したら、Googleにサイトを再クロールさせたいと思うでしょう。
プラドゥマン・クマール
こんにちは、記事はとても正確で完璧で大好きでした。
ちょっとした提案ですが、Googleコンソールが変更されたため、画像ROBOTS.TXTテスターを更新していただけると幸いです。また、Googleからrobots.txtを確認するためのリンクを追加していただけると素晴らしいです。
WPBeginnerサポート
フィードバックありがとうございます。可能な限り早く記事を更新するよう確認いたします。
管理者
カマルジート・シン
私のブログのrobots.txtファイルは次のとおりでした：
User-Agent: *
crawl-delay: 10
この投稿を読んだ後、推奨されるrobots.txtファイルに変更しました。crawl-delayを削除しても大丈夫ですか
WPBeginnerサポート
問題ありません。crawl-delayは、検索エンジンにサイトのクロール速度を遅くするように指示します。
管理者
リーナ
ロボット.textについて、とても分かりやすく説明していただき、大変満足しています。 あなたはとても良いライターです。
WPBeginnerサポート
ありがとうございます、当社の記事を気に入っていただけて嬉しいです
管理者
JJ
Disallow: /refer/ ページとは何ですか？ 404エラーが出ますが、これは隠し wp ファイルですか？
編集スタッフ
当社では、ウェブサイト上のさまざまなアフィリエイトリンクにリダイレクトするために/refer/を使用しています。これらは単なるリダイレクトであり、実際のコンテンツではないため、インデックス作成したくありません。
管理者
サガル・アラク
共有いただきありがとうございます。これは、robots.txtを理解する上で非常に役立ちました。
ご提案いただいた理想的なものにrobots.txtを更新しました。これで結果を待ちます。
WPBeginnerサポート
どういたしまして、私たちの推奨事項をご利用いただけて嬉しいです
管理者
アカシュ・ゴゴイ
とても参考になる記事でした。どうもありがとうございます。
WPBeginnerサポート
当社の記事がお役に立てて嬉しいです
管理者
ジンギランサー
私たちに関するこの有用な情報を共有していただきありがとうございます。
WPBeginnerサポート
robots.txtファイルに関するこの情報を共有できて嬉しいです
管理者
Jasper
更新情報ありがとうございます。Robot txtファイルに関する記事は参考になりました。新しい情報を得ることができました。ありがとうございます。新しいアイデアがあれば、引き続き教えてください。
WPBeginnerサポート
当社のガイドがお役に立てて嬉しいです
管理者
イムラン
ありがとうございます。WordPressにrobots.txtを追加しました。非常に良い記事です。
WPBeginnerサポート
ありがとうございます。私たちの記事がお役に立てて嬉しいです
管理者