X-Robots-Tagとは？意味をわかりやすく簡単に解説

text: XEXEQ編集部

X-Robots-Tagとは

X-Robots-Tagは、ウェブサイトのクローラー制御を行うためのHTTPヘッダの一種です。このヘッダを使用することで、検索エンジンのクローラーに対して、ウェブページのインデックス化や、検索結果でのキャッシュ表示、リンクのフォローなどの動作を制御できます。

X-Robots-Tagは、ロボット排除プロトコル(robots.txt)と同様の機能を持っていますが、ページ単位での細かい制御が可能である点が大きな特徴といえるでしょう。また、HTTPヘッダとして設定するため、ページ内のHTMLを変更せずにクローラーの動作を制御できます。

X-Robots-Tagでは、「noindex」「nofollow」「noarchive」「nosnippet」「max-snippet:[number]」「max-image-preview:[setting]」「max-video-preview:[number]」などのディレクティブを使用して、クローラーの動作を細かく指定していきます。これらのディレクティブを適切に設定することで、サイトの検索エンジン最適化(SEO)を効果的に行うことができるでしょう。

X-Robots-Tagは、2019年9月にGoogleが正式にサポートを開始したことで注目を集めました。Googleは、X-Robots-Tagをサポートすることで、ウェブマスターがページ単位でのクローラー制御を柔軟に行えるようになると説明しています。

X-Robots-Tagを使用する際は、正しいディレクティブの記述と、設定の意図を明確にしておくことが重要です。不適切な設定は、検索エンジンからのトラフィックを減少させる可能性があるため、慎重に行う必要があるでしょう。