WordPressでSEOクロールバジェットの問題を修正する方法

クロールバジェットとは、Googleがウェブサイト上でクロールするページ数に設定する上限のことです。

投稿やページ以外にも、WordPressは検索エンジンがクロールおよびインデックス登録できる追加のURLをいくつか生成します。これは、Googleが重要なコンテンツではなく、不要なページにクロールバジェットを費やす可能性があることを意味します。

この記事では、WordPressでクロールバジェットを最適化して、Googleが重要なコンテンツを最初に発見できるようにする方法を説明します。

簡単な回答：WordPressでクロールバジェットを修正する方法

SEOプラグインのクロールクリーンアップ設定またはrobots.txtを使用して不要なURLをブロックすることで、クロールバジェットが無駄にならないようにします。

ほとんどの中小規模のウェブサイトは、クロールバジェットを使い果たすことはありません。しかし、WordPressは公開するよりも多くのURLを生成します。GoogleはこれらのURLにクロールバジェットを浪費する可能性があり、重要なページは迅速または頻繁にクロールされない可能性があります。

必要な修正に直接ジャンプするには、以下のクイックリンクを使用してください：

クロールバジェットとは何か、そしてそれをどう確認するか？

クロールバジェットとは、Googleのような検索エンジンが特定の期間内にウェブサイト上でクロールするページ数です。主な要因は2つあります：

• クロール予算：サーバーをクラッシュさせたり遅くしたりせずに、Googleが実行できるリクエストの数。サーバーが高速で信頼性が高い場合、予算は高くなります。
• クロールデマンド：Googleがサイトの人気、全体的な品質、および新しいコンテンツを公開する頻度に基づいて、サイトをクロールしたい量。

価値の低いページや低速なサーバーがクロール予算を消費すると、Googleのクロールは減り、新しいコンテンツのインデックス作成に時間がかかります。

Google Search Consoleのクロール統計レポートを確認する価値があります。Googlebotがいつ、どのくらいの頻度であなたのウェブサイトを訪問したかがわかります。Google Search Consoleを開き、[設定] » [クロール統計] » [レポートを開く]に移動して表示します。

レポートに入ると、Googleはクロールリクエストを4つの方法で内訳します。それぞれが何を示すかは次のとおりです。

• レスポンス別。サーバーが各リクエストにどのように応答したか。「OK（200）」、「見つかりません（404）」、リダイレクト、サーバーエラー（5XX）など。
• ファイルタイプ別。GooglebotがHTMLページ、画像、CSS、JavaScriptでダウンロードしたもの。
• 目的別。「発見」はGoogleがURLを初めてクロールすることを意味し、「更新」はすでに知っているページを再クロールすることを意味します。
• Googlebotタイプ別。ど​​のクローラーがリクエストを行ったかを示します。Googleは主にサイトのモバイルバージョンをクロールするため、「スマートフォン」のシェアが高いのは正常です。

これらのレポートのいずれかの行をクリックすると、特定のURLとその個々のクロール統計を表示できます。このデータは、サイトに必要な修正を正確に示します。

• 「見つかりません（404）」または「サーバーエラー（5XX）」の応答の大部分は、デッドURLがリクエストを消費していることを意味します。リダイレクトチェーンをクリーンアップし、壊れたリンクを修正することでこれを解決できます。
• 「シンジケーション」の数値が大きいということは、Googleがコンテンツの代わりにフィードにリクエストを費やしていることを意味します。これらの不要なURLをブロックすることで、この無駄を簡単に停止できます。
• 新しいコンテンツを公開していない場合でも「発見」クロール統計が高いままであれば、Googleは並べ替えやフィルタリングページなどの自動生成されたURLに時間を浪費している可能性があります。同じrobots.txtブロッキングルールを適用することで、これを停止できます。
• 平均応答時間が遅い、または繰り返されるサーバーエラーは、予算全体を制限します。これは、サーバーの速度を上げる時期であることを明確に示す兆候です。

最後に、ページインデックス作成レポートの「発見済み - 現在インデックスに登録されていません」メトリックを確認します。Googleはサーバーのクラッシュを回避するためにクロールを遅延させる場合にこれを使用します。ここでの高いカウントは、サイトのクロールが制限されている直接的な指標です。

robots.txtまたはSEOプラグインでクロールを浪費するURLをブロックする

クロール予算の無駄のほとんどは、あなたが書いた記事からではなく、WordPressやプラグインが自動生成するURLから発生します。

これらの不要なURLには、フィード、コメント返信リンク、内部検索結果、キャンペーンや広告からのトラッキングパラメータ、WooCommerceフィルタパラメータなどが含まれます。

URLの無効化を開始する前に、2つのことを念頭に置いてください。

• CSSまたはJSを禁止しないでください。 Googleは、ページを正しく表示するためにこれらのファイルを読み込む必要があります。
• noindexを設定するURLをブロックしないでください。 noindexタグは、Googleにページを検索結果から除外するように指示します。しかし、GoogleはWordPressページをクロールしてそのタグを確認する必要があるため、robots.txtでURLをブロックすると、Googleはそれを読み込めなくなります。

robots.txtルールを手動で記述する

robots.txtファイルは、ウェブサイトのルートにあるプレーンテキストファイルです。検索エンジンのボットに、どのURLにアクセスすべきでないかを伝えます。

robots.txtファイルをホスティングアカウントから直接編集することもできます。しかし、SEOプラグインの組み込みエディタを使用する方がはるかに簡単です。

例えば、All in One SEOでは、All in One SEO » Tools » Robots.txt Editorの下で見つけることができます。

Yoast SEOやRank Mathのような他の人気のあるプラグインも、同様のrobots.txtエディタを提供しています。

まず、クロールしたくないURLパターンを特定します。例えば、内部検索用の/?s=、コメント返信リンク用の投稿URLに追加される?replytocom=、RSSフィード用の/feed/などです。

RSSフィードをブロックする前に、ポッドキャスト、自動メールニュースレター、またはフィードリーダーで必要かどうかを確認してください。使用されていないことがわかったら、それぞれにDisallowルールを追加します。

User-agent: *
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /*/feed/

ルールを保存したら、続行する前にGoogle Search Consoleのrobots.txtレポートで検証してください。

新しいDisallowルールが、構文エラーなしでそこに表示されることを確認してください。

SEOプラグインでクロールクリーンアップを設定する

robots.txtルールを手動で記述したくない場合は、SEOプラグインのクロールクリーンアップ設定で、簡単なトグル操作で同じことができます。

AIOSEOを使用している場合、All in One SEO » Search Appearance » Advancedの下で見つけることができます。次に、「Crawl Cleanup」をオンにします。Crawl Cleanupツールを使用すると、不要なRSSフィード（WordPressがコメント、著者、添付ファイル用に自動生成するものなど）を無効にしたり、不要なボットをブロックしたり、内部検索URLのクロールを停止したりできます。

メインサイトフィードはオンのままにしてください。そのため、AIOSEOでは「無効にすることは推奨されません」とマークされています。

Yoast SEOには、Yoast SEO » Settings » Advanced » Crawl optimizationの下に同様の機能があり、独自のフィード削除およびURLパラメータクリーンアップオプションがあります。

これらのオプションをオンにしたら、robots.txtファイルを確認して、新しいルールが実際にアクティブになっていることを確認してください。

トラッキングパラメータの処理方法

メールキャンペーン、広告、マーケティングツールは、訪問者がどこから来たのかを確認するために、URLにトラッキングパラメータ（utm_source、fbclid、gclidなど）を追加することがよくあります。

AIOSEOのクエリ引数モニタリングは、これらのクエリ引数（URLの疑問符の後にある追加の値）のうち、Googlebotが実際にクロールしているものを表示します。AIOSEOの同じ「詳細設定」画面の下部にあります。

ほとんどの場合、トラッキングリンクをブロックまたはリダイレクトする必要はありません。

AIOSEOは、これらのリンクをリダイレクト経由で書き換える「UTMパラメータを最適化」トグルを提供していますが、追跡データを誤って破損させないために、オフのままにしておくことを強くお勧めします。

ただし、モニターに全く意味のないクエリ引数を見つけた場合は、このセクションのブロックリストに安全に追加できます。上級ユーザーは、正規表現（Regex）を使用して複数の類似URLを一度にブロックすることもできます。

WooCommerceのフィルターおよびカートURLをクリーンアップする

WooCommerceストアは、上記のすべてに加えて、主にorderby=、filter_、min_price=、max_price=、add-to-cart=といった独自のクロール無駄パラメータを追加します。

検索値のないものをrobots.txtアプローチでブロックするか、上記のセクションのクエリ引数監視にクエリ引数として追加できます。

add-to-cart=をブロックしても、ユニークなコンテンツを提供するのではなくアクションをトリガーするため安全です。

並べ替えフィルターと価格帯フィルターについても同様に行いますが、ただし、単一の人気のあるサイズや色のように、それ自体で検索トラフィックを獲得するフィルターは例外です。

薄いコンテンツのインデックス登録解除 – タグ、日付、作成者アーカイブ

インデックス解除とは、ページをGoogleの検索結果から削除することです。これは、検索エンジンにそのページを検索結果に表示しないように依頼するnoindexタグを追加することで行います。

WordPressは、投稿をタグ、日付、作成者ごとにグループ化するアーカイブページを自動的に作成します。これらのアーカイブは、サイトに既に存在するコンテンツをほとんど繰り返しているため、SEO専門家はそれらを「薄い」ページと呼んでいます。

通常noindexにしても安全な4つのアーカイブタイプを次に示します。

• サイトに単一のライターがいる場合の作成者アーカイブ
• 実際のランディングページとして機能しないタグアーカイブ
• 日付アーカイブ。これらは、それ自体で検索価値を持つことはめったにありません。
• 添付ファイルページ。古いWordPressサイトでは、アップロードされたすべての画像に対してこれらを作成します（WordPress 6.4では、2023年11月に新規インストールに対してこれらを作成しなくなりました）。

SEOプラグインのアーカイブ設定から、各アーカイブタイプをnoindexに設定できます。ほとんどのWordPress SEOプラグインには、無料バージョンにこの設定が含まれています。

AIOSEOでは、All in One SEO » Search Appearance » Archivesの下にあります。

保存する前に、重要なページや投稿タイプ全体を誤ってnoindexにしていないか再確認してください。

XMLサイトマップをきれいに保つ

XMLサイトマップは、GoogleにどのURLを重要で新しいと考えているかを伝えます。サイトマップをきれいに保つことで、検索エンジンがページ分割されたアーカイブで時間を無駄にするのではなく、最も価値のあるコンテンツに集中するようにします。

デフォルトでは、WordPressはサイトのXMLサイトマップを作成します。より詳細な制御のために、SEOプラグインでカスタムサイトマップを生成することをお勧めします。

カスタムサイトマップは最終変更日を追加し、noindexに設定したページをサイトマップから削除します。AIOSEO、Yoast SEO、Rank Mathはすべて、無料バージョンでサイトマップを作成できるようにします。

クロールエラーとリダイレクトチェーンを修正する

無効でリダイレクトされたURLは、GoogleがURLが無効であることを取得して初めて学習するため、クロールリクエストを消費し続けます。典型的なWordPressサイトでは、これらの無駄なクロールリクエストは通常、3つの主な原因から発生します。

• リダイレクトチェーン。これは、URL AがBにリダイレクトされ、次にBがCにリダイレクトされる場合に発生します。これを修正するには、元のURLを単一の301（恒久的）リダイレクトで最終的な宛先に直接ルーティングすることにより、チェーンを短縮します。
• ソフト404エラー。これは、ページが削除されたにもかかわらず、サーバーが通常の「200 OK」成功コードを返した場合に発生します。サーバーがコンテンツがなくなったことを明示的に伝えていないため、GoogleはURLのクロールを続けます。削除されたページが適切な404（見つかりません）または410（削除済み）ステータスコードを返すようにすることで、これを修正できます。
• 古い内部リンク。Googleが壊れたページまたはリダイレクトにつながる内部リンクをたどるたびに、クロールバジェットが消費されます。内部リンクを定期的に監査し、削除するか、ライブの最終的なURLを直接指すように更新する必要があります。

WordPressでリダイレクトを作成する方法に関するガイドもお読みいただけます。このガイドでは、プロセス全体を説明しています。

クロールレートを上げるためにサーバーを高速化する

高速なサーバーはGoogleに多くのページをクロールするように促しますが、苦労しているサーバーはクロールを停止させます。応答時間を改善するには、堅牢なWordPressホスティングとアクティブなキャッシュ設定の2つが必要です。

しかし、サーバーエラーはページ速度よりもクロールバジェットにさらに悪影響を与える可能性があります。Googlebotが頻繁にタイムアウトすると、クロールが大幅に削減され、回復が遅くなります。

Google Search Consoleのクロール統計レポートで応答時間とサーバーエラーを監視できます。エラーは通常、ホスティングプランの最大化または誤ったプラグインによって引き起こされます。

エラーログとホスティング制限のヘルプについては、500内部サーバーエラーの修正方法に関するガイドを参照してください。

サーバーリソースを浪費するAIクローラーをブロックする

GPTBot、ClaudeBot、PerplexityBotなどのAIクローラーは、Googleのクロールバジェットを使用しません。しかし、それらは同じサーバーにアクセスし、積極的なスクレイピングはサイトを十分に遅くしてGoogleのクロールレートを低下させる可能性があります。

この問題を修正する最も簡単な解決策は、ほとんどのSEOプラグインに含まれているクロールクリーンアップです。AIOSEOのクロールクリーンアップには、WordPressレベルで不要なAIボットを停止するボットブロック設定が含まれています。

より強力な保護のために、Cloudflareの無料AIクロールコントロールを使用すると、クロールタブから個々のクローラーをブロックできます。これは、ホスティングサーバーに到達する前にクローラーをブロックします。

ただし、ブロックリストの設定には注意してください。これらの「ボット」の多くは、サイトへのトラフィックを促進するAI検索アシスタントである可能性があるため、無差別にブロックすると全体的な可視性が低下します。

WordPressのクロールバジェットに関するよくある質問

クロールバジェットに関する最も頻繁に寄せられる質問を以下に示します。

クロールバジェットを設定または増やすことはできますか？

設定できる固定数はありません。より高速で信頼性の高いサーバーでクロール容量を増やし、Googleが実際に再訪問したい新鮮で重複しないコンテンツでクロール需要を増やすことができます。

Search Consoleで重複として表示される/feed/ URLのクロールをGoogleに停止させるにはどうすればよいですか？

AIOSEOのクロールクリーンアップで冗長なフィードを無効にするか、robots.txtにフィードURLのDisallowルールを追加します。そのコンテンツはすでにサイトの他の場所にインデックスされているため、フィードをブロックしてもオーガニックトラフィックの観点からは何も失われません。

noindexタグはクロールバジェットを節約しますか？

直接ではありません。Googleはタグを確認するためにページをクロールする必要があるためです。代わりに、robots.txtファイルを使用してGoogleのクロールを停止してください。

役立つリンク付きのカスタム404ページは、クロールバジェットを改善しますか？

いいえ、ただしユーザーエクスペリエンスは向上します。クロールバジェットが無駄にならないようにするには、存在しないページに対してサーバーが正しい404または410ステータスコードを送信するようにしてください。

この記事が、クロールバジェットを無駄にしているものを特定し、修正するのに役立ったことを願っています。変更を数週間かけて確認し、改善を確認するために再度クロール統計を確認してください。

また、究極のWordPress SEOガイドまたはWordPressサイトの検索エンジンのクロールを停止する方法もご覧ください。

この記事が気に入った場合は、WordPressのビデオチュートリアルのために、YouTubeチャンネルを購読してください。また、TwitterやFacebookでも私たちを見つけることができます。