WordPress サイトには既に robots.txt ファイルがあり、あなたがそれに触れたことがあるかどうかに関わらず、検索エンジンのクローラーが何にアクセスできるかを決定しています。
これらの決定のほとんどは無害です。しかし、一つでも不適切なルールを選択すると、クローラーが実際に発見してほしい URL から遠ざけてしまう可能性があります。
このガイドでは、robots.txt ファイルが現在何を行っているのか、コードに触れることなく編集する方法を説明します。
このガイドで説明する内容は以下のとおりです。
robots.txtファイルとは何ですか？
Robots.txt は、サイトのどの部分をクロールできるかを検索エンジンボットに伝えるプレーンテキストファイルです。
このファイルは、ウェブサイトのルートディレクトリ（メインフォルダ）にあります。基本的な形式は次のようになります。
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
必要に応じて、ルールやサイトマップをいくつでも追加できます。URL を disallow しない場合、ボットはそれをクロールできると想定します。
ブログを開始したばかりの頃は、robots.txt ファイルがなくてもサイトは正常に機能します。しかし、コンテンツが増えるにつれて、このファイルはより役立つものになります。
検索エンジンは、各ウェブサイトにクロールバジェットを与えます。これは、指定された期間内にクロールするページの数です。重要でないページをブロックすることで、ボットが検索結果に表示したいコンテンツにそのバジェットを費やすのを助けることができます。
これは、数千ページを持つ大規模なサイトで最も重要です。
robots.txt はクロールを制御するのに役立ちますが、インデックス作成を制御するものではないことを覚えておいてください。
- クロールとは、検索エンジンボット（Googlebot など）がコンテンツを発見するためにウェブサイトを訪問することです。
- インデックス作成とは、そのコンテンツを巨大な検索データベースに追加して、検索結果に表示できるようにすることです。
図書館員が新しい本を読んでいる（クロール）そしてそれを図書館のカタログに追加している（インデックス作成）と考えてください。
つまり、robots.txt はコンテンツを非表示にするための良い方法でもありません。なぜなら、他のウェブサイトがリンクしている場合、disallow されたページでも検索結果に表示される可能性があるからです。確実にページを Google から除外するには、代わりに「noindex」メタタグを使用してください。これにより、検索エンジンはそのページを一切リストしないように指示されます。
Robots.txt の例とベストプラクティス
ほとんどの WordPress サイトでは、robots.txt ファイルをかなりシンプルに保つことができます。推奨する基本的な設定は次のとおりです。
User-Agent: *
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Disallow: /?s=
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml
各ルールが何をするかを示します。
Allow: /wp-content/uploads/は、検索エンジンが WordPress メディアライブラリにアップロードされた画像やその他のファイルをクロールできるようにします。Allow: /wp-admin/admin-ajax.phpは、WordPress の AJAX ハンドラーにアクセスできるようにします。テーマやプラグインは、ページを更新せずにコンテンツを読み込んだり更新したりするためにこのファイルを使用する場合があります。Disallow: /wp-admin/は、検索結果に表示したいコンテンツが含まれていない WordPress 管理エリアへのクローラーのアクセスを防ぎます。Disallow: /readme.htmlは、WordPress のデフォルトのreadme.htmlファイルへのクローラーのアクセスを防ぎます。このファイルは検索エンジンにとって有用ではないため、クローラーがアクセスする理由はほとんどありません。Disallow: /refer/は、/refer/プレフィックスを使用するアフィリエイトまたはその他のリダイレクト URL をたどるクローラーを防ぎます。サイトでこれらのリンクに別のプレフィックスを使用している場合は、/refer/を独自のプレフィックスに置き換えてください。Disallow: /?s=は、WordPress の内部検索 URL のリクエストをクローラーから防ぎます。これらのページは一般的に検索エンジンにとって有用なランディングページではなく、クロールする多数の不要な URL を作成する可能性があります。Sitemapは、XMLサイトマップの場所を検索エンジンに伝えます。これにより、クロールさせたいURLを検索エンジンが見つけやすくなります。
これらは、WPBeginnerで使用しているものと同じ基本的なルールの種類です。ライブファイルはwpbeginner.com/robots.txtで確認できます。本番ファイルには、はるかに大きなサイト用の追加ルールが含まれていますが、基本的な原則は同じです。
ワイルドカード*を使用すると、すべてのクローラーに適用されることに注意してください。
たとえば、このルールはGooglebotが/private/フォルダをクロールするのをブロックします。
User-agent: Googlebot
Disallow: /private/
一般的なユーザーエージェント名には、Googlebot（Google）、Bingbot（Bing）、Baiduspider（Baidu）などがあります。
WordPress で Robots.txt ファイルを作成する方法
WordPressでrobots.txtファイルを作成するには2つの方法があります。あなたに最適な方法を選択できます。
All in One SEO を使用して robots.txt ファイルを編集する方法 1
All in One SEO（AIOSEO）、Yoast、Rank Mathなどのほとんどの 無料WordPress SEOプラグインでは、WordPressダッシュボードから直接robots.txtファイルをカスタマイズできます。
WPBeginnerではAIOSEOを使用しています。AIOSEOの無料版は、入力中にrobots.txtルールを検証するのに役立ち、公開前に構文エラーを検出できます。
プラグインがアクティブになったら、WordPressダッシュボードのAll in One SEO » Toolsに移動するだけです。Robots.txt Editorが表示されます。「カスタムRobots.txtを有効にする」トグルをオンにして編集を開始します。
エディターには、WordPressが独自に生成するデフォルトのルールが表示されます。
ここで独自のルールを追加できます。「User Agent」フィールドにユーザーエージェントを入力するか、*を使用してすべてのボットにルールを適用します。
次に、Directive列で「Allow」または「Disallow」を選択し、「Value」フィールドにファイルまたはフォルダパスを入力します。別のルールを追加するには、「Add Rule」ボタンをクリックします。
最終的なファイルは、画面下部にある「Custom Robots.txt Preview」で確認できます。ボットが見るであろう完全なファイルがそのまま表示されます。
完了したら、「Save Changes」ボタンをクリックしてルールを保存します。
方法2：FTPを使用してRobots.txtファイルを直接編集する
robots.txtファイルを直接編集したい場合は、この方法に従ってください。ファイルを編集するには、FTPクライアントを使用するか、WordPressホスティングパネルのファイルマネージャーを使用する必要があります。
何かを編集する前に、現在のrobots.txtファイルのバックアップコピーをコンピューターにダウンロードしてください。これにより、問題が発生した場合に復元できます。
まず、FTPクライアントをWordPressウェブサイトに接続し、ウェブサイトのルートフォルダにあるrobots.txtファイルを見つけます。
表示されない場合は、サイトにrobots.txtファイルがまだありません。そこに作成できます。
Robots.txtはプレーンテキストファイルです。ダウンロードして、NotepadやTextEditなどの任意のプレーンテキストエディターで編集し、ルートフォルダに再度アップロードできます。
Robots.txt ファイルをテストする方法
robots.txtファイルを作成または編集した後、常にエラーがないか確認してください。小さなタイポでも重要なページが検索エンジンからブロックされる可能性があり、数週間気づかないかもしれません。
エラーがないかrobots.txtファイルをテストする最も簡単な方法は、 Google Search Consoleを使用することです。
まず、サイトがGoogle Search Consoleに接続されていることを確認してください。接続されていない場合は、WordPressサイトをGoogle Search Consoleに追加する方法のガイドに従ってください。
次に、Search Consoleダッシュボードに移動し、左下のメニューから設定を開きます。「クロール」セクションを見つけ、「robots.txt」の横にある「レポートを開く」をクリックします。
リスト内のファイルの現在のバージョンをクリックします。レポートには、Googleが見つけた最新のrobots.txtが表示され、検出された構文エラーや論理的な問題が強調表示されます。
ファイルを更新したばかりで変更が表示されない場合は、1日待ってから再度確認してください。
WordPressのrobots.txtに関するよくある質問
ここでは、読者がWordPressのrobots.txtファイルを最適化することについてよく尋ねる質問をいくつか紹介します。
1. robots.txtを使用すると、サイトのセキュリティを向上させることができますか？
いいえ、robots.txt はセキュリティ対策ではありません。このファイルは公開されており、リストされた URL へのアクセスを実際にブロックするものではありません。単に、礼儀正しい検索エンジンのクローラーへの指示を提供するだけです。
2. robots.txtでWordPressのカテゴリページとタグページをブロックする必要がありますか？
いいえ、カテゴリページとタグページをブロックしないでください。これらのアーカイブページには、クローラーが古い投稿に到達するためにたどる内部リンクが含まれているため、ブロックすると、インデックス作成したいコンテンツへの発見パスが削除されます。
3. robots.txtとnoindexタグの違いは何ですか？
これらは異なるものを制御します。robots.txtは、クローラーがURLをまったく訪問できるかどうかを制御します。noindexタグは、検索エンジンがすでに訪問したとしても、検索結果にページをリストするかどうかを制御します。
robots.txtを使用して、管理パネル、ステージング環境、またはプラグインディレクトリのような領域へのクローラーのアクセスをブロックします。noindexは、検索結果に表示させたくないが、Googleがクロールしても構わないページ（フィルタリングされたアーカイブページやサンキューページなど）に使用します。
この記事がWordPressのrobots.txtファイルをSEOのために最適化する方法を学ぶのに役立ったことを願っています。また、究極のWordPress SEOガイドや、ウェブサイトを成長させるための最高のWordPress SEOツールに関する専門家のおすすめもご覧ください。
この記事が気に入った場合は、WordPressのビデオチュートリアルのために、YouTubeチャンネルを購読してください。また、TwitterやFacebookでも私たちを見つけることができます。
Steve
これ、ありがとうございます。WP Multisite ではどのように機能しますか？
WPBeginnerサポート
マルチサイトの場合、各サイトのルートフォルダにrobots.txtファイルが必要です。
管理者
Pacifique Ndanyuzwe
私のWordPressサイトは新しく、デフォルトのrobots.txtは以下のようになっています：
user-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Googleに私のコンテンツをクロールおよびインデックスしてもらいたいのですが、このrobots.txtで大丈夫ですか？
WPBeginnerサポート
もちろん、必要であればそれを使用できます
管理者
Ritesh Seth
素晴らしい記事です…
長い間、Robots.txt ファイルと Disallow リンクについて混乱していました。robots ファイル用のタグをコピーしました。これで私のサイトの問題が解決することを願っています。
WPBeginnerサポート
この記事がお役に立てば幸いです
管理者
Kurt
ホームフォルダのスクリーンショットにあるファイルは、実際には私のホームフォルダの下のpublic_htmlフォルダ内にあります。
public_html フォルダの下に /refer フォルダがありませんでした。
WPアカウントのどこにも投稿またはページのXMLファイルがありませんでした。
作成したrobots.txtファイルに、サンドボックスサイトのクロールを拒否するエントリを含めました。WPでサンドボックスサイトをクロールしないようにクローラーに指示するオプションをすでに選択しているので、これは必要ないかもしれませんが、エントリがあっても害はないと思います。
WPBeginnerサポート
一部のホストではpublic_htmlをhomeにリネームするため、そこに表示されます。XMLファイルを利用できるようにするには、Yoastがアクティブであることを確認してください。この記事の方法は、サイトのクロールを防ぐのに役立つ追加の予防策です
管理者
アーメド
素晴らしい記事です
WPBeginnerサポート
ありがとうございます
管理者
ASHOK KUMAR JADON
こんにちは、素晴らしい記事です。私の問題を解決してくれました。本当にありがとうございます。
WPBeginnerサポート
私たちの記事がお役に立てて嬉しいです
管理者
エリン・アシュトン
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php <– これが私のrobot.txtコードですが、なぜ私の/wp-adminがインデックスされるのか混乱しています。どのようにインデックスしないようにすればよいですか？
WPBeginnerサポート
以前にインデックス登録された場合、検索エンジンのキャッシュがクリアされるまで時間がかかる場合があります
管理者
Ashish kumar
このウェブサイトは、ブログを始める上で本当に刺激になります。多くのチームに感謝します。このウェブサイトの各記事には、豊富な情報と説明があります。何か問題が発生した場合、まずこのブログを訪れます。ありがとうございます。
WPBeginnerサポート
私たちの記事がお役に立てて嬉しいです
管理者
アンナ
Yoastを使用してウェブサイトのロボットを最適化しようとしています。しかし、Yoastのツールには「ファイルエディター」のオプションがありません。
オプションは2つしかありません。
(i) インポートとエクスポート
(ii) 一括エディター
この問題にどのように対処できるかアドバイスいただけますでしょうか。もしかして、Yoastの無料版を使用していますか？
WPBeginnerサポート
Yoastの無料バージョンにはまだオプションがあります。インストールでファイル編集が無効になっている可能性があります。その場合は、FTPメソッドを使用する必要があるでしょう。
管理者
Emmanuel Husseni
robot.txt がどのように機能するかあまり知らなかったので、この記事は本当に役に立ちました。今ではわかっています。
サイトで一般的に機能するrobots.txtの最適な形式をどのように見つけるのか理解できません。
チェックしている多くの有名なブログが検索エンジンで上位表示されているのを見ると、異なるrobot.txt形式を使用していることに気づきました。
あなたからの返信、または助けてくれる誰かからの返信を楽しみにしています。
編集スタッフ
サイトマップを作成し、許可する必要のある領域を許可することが最も重要です。禁止する部分はサイトごとに異なります。ブログ記事でサンプルを共有しましたが、ほとんどのWordPressサイトでこれで十分でしょう。
管理者
WPBeginnerサポート
Emmanuel さん、こんにちは。
理想的なrobots.txtファイルに関するセクションを参照してください。それはあなたの要件によります。ほとんどのブロガーは、WordPressの管理フォルダとプラグインフォルダをクロールから除外します。
管理者
Emmanuel Husseni
本当にありがとうございます。
今わかりました。とりあえず一般的な形式から始めようと思います。
ジャック
よく書かれた記事です。ユーザーには、ROBOTSテキストを作成して有効にする前にサイトマップを作成することをお勧めします。これにより、サイトのクロールが速くなり、インデックスが容易になります。
ジャック
Connie S Owens
検索エンジンがクロール中に私のアーカイブをインデックスに登録するのを停止したいです。
エマニュエル・ノニエ
ありがとうございます。この記事は本当に役に立ちました。
Cherisa
Google ウェブマスターで以下のエラーメッセージが表示され続けます。基本的に行き詰まっています。このチュートリアルで不明だった点がいくつかあります。サイトのルートファイルはどこで見つけられますか？「robots.txt」がすでに存在するかどうかをどのように判断しますか？また、どのように編集しますか？
WPBeginnerサポート
Cherisaさん、こんにちは。
サイトのルートフォルダとは、wp-admin、wp-includes、wp-content などのフォルダが含まれるフォルダのことです。また、wp-config.php、wp-cron.php、wp-blogheader.php などのファイルも含まれます。
このフォルダにrobots.txtファイルが見つからない場合は、ファイルが存在しないということです。新しいファイルを作成しても構いません。
管理者
Cherisa
ご返信ありがとうございます。説明されているルートファイルを見つけることができませんでした。設定などの下に、このフォルダにつながるパスディレクトリはありますか？
Devender
ウェブサイトへのトラフィックは順調でしたが、5月に入って突然ゼロになりました。現在もこの問題に直面しています。ウェブサイトを復旧するために助けてください。
ハリス・アスラム
こんにちは。この情報ありがとうございます。しかし、質問があります。
Sitemap.xmlとRobots.txtファイルを作成したばかりで、正常にクロールされています。しかし、「Product-Sitemap.xml」をどのように作成できますか？
Sitemap.xmlファイルにはすべての製品リストがあります。Product-sitemap.xmlを別途作成する必要がありますか？
GoogleまたはBingに再度送信しますか？
手伝っていただけませんか…
ありがとうございます
Mahadi Hassan
robots.txtファイルの設定で問題が発生しています。すべてのウェブサイトでrobots.txtが1つしか表示されません。すべてのウェブサイトのrobots.txtファイルを個別に表示できるようにしてください。個々のウェブサイトごとにrobots.txtファイルをすべて個別に持っています。しかし、ブラウザにはすべてのウェブサイトに対してrobots.txtファイルが1つしか表示されません。
Debu Majumdar
初心者向けRobots.txtの例に
Disallow: /refer/
を含めた理由を説明してください。この行の意味が理解できません。これは初心者にとって重要ですか？他の2つのDisallowedについては説明されています。
ありがとう。
WPBeginnerサポート
Debuさん、こんにちは。
この例はWPBeginnerのrobots.txtファイルからのものです。WPBeginnerでは、ThirstyAffiliatesを使用してアフィリエイトリンクを管理し、URLを偽装しています。これらのURLには「/refer/」が含まれているため、robots.txtファイルでブロックしています。
管理者
エバリスト
すべてのタグ/mydomain.Comをnofollowにするにはどうすればよいですか？リンクジュースを集中させるためにrobots.txtで？ありがとう。
ハルシュ・クマール
こんにちは、Yoast SEOでサイトマップに関するエラーが出ています。修正をクリックすると、また元に戻ってしまいます。サイトのHTMLが正しく読み込まれていません。
トム
Google Search Consoleのアカウントを確認したところ、以下の問題が見つかりました。
ページの一部が読み込まれていません
ページのすべてのリソースを読み込めませんでした。これは、Googleがページをどのように認識し、理解するかに影響を与える可能性があります。Googleがページをどのように理解するかに影響を与える可能性のあるリソースの可用性の問題を修正してください。
これは、プラグインに関連するすべてのCSSスタイルシートが、デフォルトのrobots.txtによって禁止されているためです。
これを許可しない方が良い理由を理解していますが、Googleのアルゴリズムがサイトを低く評価しているのではないかと疑われる場合、代替手段は何になりますか？
スーレン
こんにちは、
Googleで私のサイトを検索すると、リンクの下に次のテキストが表示されます。「このサイトのrobots.txtのため、この結果の説明は利用できません。」
この問題をどのように解決できますか？
よろしくお願いいたします
WPBeginnerサポート
Surenさん、こんにちは。
サイトのプライバシー設定が誤って変更されたようです。「設定 » 表示設定」ページに移動し、「検索エンジンの可視性」セクションまでスクロールしてください。の横にあるチェックボックスがオフになっていることを確認してください。
管理者
ディビエシュ
こんにちは
ウェブマスターツールで見たところ、以下のような robot.txt ファイルがありました。
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
これで大丈夫ですか？それとも何か他のものを使うべきですか？
John Cester
「/wp-content/plugins/」をrobots.txtでブロック（無効化）するのは良い考えですか？ プラグインを削除するたびに、そのプラグインの一部のページで404エラーが表示されます。
ヒマンシュ・シン
この説明はとても気に入りました。初心者としてrobot.txtファイルとその用途について非常に混乱していましたが、今ではその目的がわかりました。
ラフル
robots.txt ファイルで index.php がディスアローされています。その理由を説明していただけますか？それは良い習慣ですか？
ワリード・バラカト
この貴重な情報を共有していただきありがとうございます。
アウェイス・アーメド
Webmaster Toolでこれが起こる理由を教えていただけますか？
ネットワークに到達できません: robots.txt に到達できませんサイトマップをクロールできませんでした。サイトのルートに robots.txt ファイルが見つかりましたが、ダウンロードできませんでした。アクセス可能であることを確認するか、完全に削除してください。
robots.txtファイルは存在しますが、まだ
ドッツァ
Yoastチームからのこの件に関する興味深いアップデートはこちらです。
引用：「robots.txtでwp-includesディレクトリやプラグインディレクトリへのアクセスをブロックするという古いベストプラクティスはもはや有効ではありません。」
natveimaging
許可: /wp-content/uploads/
これは～ではないでしょうか？
Disallow: /wp-content/uploads/
Googleはアップロードしたすべてのページを公開URLとしてインデックスすることを認識しているからですよね？そして、ページ自体にエラーが表示されることになります。何か見落としていることはありますか？
nativeimaging
全体として、Google が画像マップを生成するためにクロールするのは実際のページであり、アップロードフォルダではありません。そうすると、すべての小さな画像サイズや UI 用の他の画像もインデックスに登録されるという問題が発生します。
これが最善の選択肢のようです：
Disallow: /wp-content/uploads/
私が間違っている場合は、あなたの考えを理解できるように説明してください。
ジェイソン
私のブログの URL がインデックスに登録されません。robots.txt を変更する必要がありますか？ この robots.txt を使用しています。
イアン
ページと投稿のみをインデックス許可するrobots.txtの作成方法を教えてください。ありがとうございます。
シムラン・シン
問題が何であるかよくわかりませんが、robots.txt には 2 つのバージョンがあります。
1 つは http://www.example.com/robots.txt にあり、もう 1 つは example.com/robots.txt にあります。
どなたか、助けてください！原因と修正方法を教えていただけますか？
WPBeginnerサポート
おそらく、ウェブホストが www と非 www の両方の URL でサイトにアクセスできるようにしているのでしょう。 www と非 www の URL。FTP クライアントを使用して robots.txt を変更してみてください。両方の URL から確認できる場合は、同じファイルであることを意味します。
管理者
シムラン・シン
早速のご返信ありがとうございます。すでに試しましたが、変更が見られません。他に解決策はありますか？
マーティン・コンデ
このトピックに関するYoastのブログ記事が検索結果であなたの記事のすぐ上にあったので、もちろん両方確認しました。それらは少し矛盾しています。たとえば、Yoastは、プラグインディレクトリなどを禁止すると、プラグインがCSSまたはJSを出力する可能性があるため、Googleクローラーがサイトを取得するのを妨げる可能性があると述べていました。また、（私の経験から）Yoastはrobots.txtにサイトマップ関連のものを追加せず、検索コンソールに追加できるように生成することも言及していました。彼の投稿へのリンクはこちらです。どちらの言葉を信じるべきか判断するのが非常に難しいので、再確認していただけるかもしれません
MM・ナウマン
このRobotstxtファイルをうまく作成できないので、URLやサイトマップなどのパラメータを変更してあなたのRobots.txtファイルを使用しても良いですか？それは良いことですか？それとも別のものを作成すべきですか？
Mohit Chauhan
こんにちは。 今日、Googleから「GooglebotがCSSおよびJSファイルにアクセスできません」というメールを受け取りました。解決策は何でしょうか？
ありがとう
パルモッド
推測させてください… CSS および JS ファイルをインポートするために CDN サービスを使用していますか？ または これらのファイルに間違った構文を記述した可能性があります。
ラフル
サイトマップの追加について質問があります。YahooとBingのサイトマップをrobotsファイルとWordPressディレクトリに追加するにはどうすればよいですか？
ゲルブランド・ピーターセン
robotsファイルの使用に関する詳細な概要をありがとうございます。Yahooもこのrobots.txtを使用しており、ファイルに記載されているルールに従うかご存知の方はいらっしゃいますか？特定のページに「Disallow」を設定しているのですが、Yahooからはそのページへのトラフィックがあります。Googleからは、あるべき姿の通り、ありません。よろしくお願いします。
アーウィン
訂正…
「YoastのWordPress SEOプラグインやその他のプラグインを使用してXMLサイトマップを生成している場合、プラグインはサイトマップ関連の行をrobots.txtファイルに自動的に追加しようとします。」
事実ではありません。WordPress SEOはサイトマップをrobots.txtに追加しません。
「XMLサイトマップをrobots.txtにリンクするのは少し無意味だと常々感じていました。GoogleとBingのWebmaster Toolsに手動で追加し、XMLサイトマップに関するフィードバックを確認する必要があります。これが、当社のWordPress SEOプラグインがrobots.txtに追加しない理由です。」
https://yoast.com/wordpress-robots-txt-example/
wp-pluginsディレクトリをdisallowしないこともさらに推奨されます（理由についてはYoastの記事を参照）。
そして個人的には、readme.txtファイルを削除するだけでいいと思っています…
hyma
robots.txt ファイルと robots ファイルの使用について理解しました。サイトマップとは何ですか？自分のサイトのサイトマップを作成するにはどうすればよいですか？
リック・R・ダンカン
Googleのドキュメントを読んだ後、robots.txtファイルで使用するディレクティブは、ボットがクロールできるものとできないものを伝えるだけのdisallowであるという印象を受けました。それは、ページがインデックスされるものとされないものを伝えるものではありません。ページをnoindexにするには、noindex robots metaタグを使用する必要があります。
ニティン
SEOに最適化されたrobots.txtファイルに関する非常に良い記事です。しかし、robots.txtファイルをサーバーにアップロードする方法についてのチュートリアルを教えていただく必要があります。初心者なので、そのファイルをアップロードするのは大変な問題のように思えます。
ところで、このような有益な情報を共有していただきありがとうございます。
-Nitin
パルモッド
サーバー/public_hmtl/(あなたのサイト名) … このフォルダにアップロードしてください
ジェニー
URLが指定されていない場合に、URLとIPアドレスで複数のスパムボットリファラーをブロックするために、HTTacessにコードを追加する最良の方法は何ですか？
httacessで構文を間違えるとサイトがオフラインになることがあるのは知っています。私は初心者で、ロシア、中国、ウクライナなどからの迷惑な複数のURLをブロックする必要があります。
ありがとうございます
ヘイゼル・アンドリュース
これらのヒントをありがとう…ロボットtxtファイルを修正しました！やった！
ラハト
なぜAllow: !!!を追加する必要があるのですか？ Disallowしたいものだけを言及すれば十分ではないでしょうか。GooglebotやBingbotは他のすべてを自動的にクロールするので、Allowのコードを書く必要はありません。 では、なぜ再びAllowを使用する必要があるのでしょうか？
コナー・リケット
Robots.txtファイルがないとサイトのクロールが止まるわけではないので、疑問に思っています。ファイルがあることでSEOパフォーマンスがどれだけ向上するかについての具体的なデータはありますか？
簡単なGoogle検索をしましたが、定量的なデータは見つかりませんでした。「SEOが向上する！」という記事が約50万件ありますが、具体的に何について話しているのか、一般的にでも知りたいです。
これは5%のブーストですか？ 50？ 500？
WPBeginnerサポート
検索エンジンはこのようなデータを共有しません。robots.txtファイルがないからといって、検索エンジンがウェブサイトをクロールまたはインデックスすることを停止するわけではありません。ただし、推奨されるベストプラクティスです。
管理者
コナー・リケット
ご連絡いただきありがとうございます。感謝いたします！
JD・マイヤーズ
タイミングが良いですね。まさに昨日この情報を探していました。
Googleウェブマスターツールが、ページの適切なレンダリングに必要なさまざまなリソースをブロックしているため、サイトを適切にクロールできないと通知していたため、それを検索していました。
これらのリソースには、 /wp-content/plugins/ にあるものが含まれていました。
このフォルダを許可した後、警告は消えました。
これについて何か考えはありますか？
WPBeginnerサポート
これらの警告は無視しても安全です。インデックスさせたいコンテンツが実際にある場合にのみ警告となります。ユーザーが検索ボットを制限していて、それを忘れている場合があります。これらの警告は、そのような状況で役立ちます。
管理者
チェタン・ジャドハブ
静的なサイトマップを使用している人が多く、WordPressサイトを使っていることをご存知かと思います。静的なサイトマップを使うべきか、WordPressが生成するサイトマップを使うべきか、という質問があります。
ウィルトン・カルデロン
いいですね。Wpbeginnerの方法が好きです。アレクサのランクを考えると、robots.txtを「訴える」のが最善の方法のように見えます。
ブリジット・バーク
robots.txtファイルがこのようになっている場合、どういう意味ですか？
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /xmlrpc.php
編集スタッフ
これは、検索エンジンがwp-adminフォルダ、wp-includesフォルダ、およびxml-rpcファイルをインデックスしないように指示しているだけです。場合によっては、/wp-includes/をDisallowすると、サイトがそれらのスクリプトを使用している場合に、検索エンジン用の特定のスクリプトがブロックされる可能性があります。これはSEOに悪影響を与える可能性があります。
最善の方法は、Googleウェブマスターツールにアクセスし、そこでボットとしてウェブサイトを取得することです。すべて正常に読み込まれる場合は、心配する必要はありません。スクリプトがブロックされていると表示される場合は、wp-includes行を削除することを検討してください。
管理者
ヘラクレス
クロール/ロボットが使用できるincludesディレクトリ内のスクリプトを持つというあなたの考えには論理が見当たりません。また、もし孤立したケースがあるなら、デフォルトのWordPressがこのファイルを許可した後で指定する方が良いでしょう。検索エンジンは彼のスクリプトを使用します！結局のところ、WordPressは確かにデフォルトで検索エンジン用のrobots.txtアンチエンジンを持っていません!!!!