robots metaタグとは？意味をわかりやすく簡単に解説

text: XEXEQ編集部

robots metaタグとは

robots metaタグとは、ウェブサイトのHTML内で使用されるタグの一種で、検索エンジンのクローラーにウェブページの検索やインデックス化に関する指示を与えるために使用されます。このタグを使用することで、ウェブサイト運営者は検索エンジンに対して、自分のサイトをどのように扱ってほしいかを細かく指定することができます。

具体的には、robots metaタグを使用することで、特定のページを検索エンジンのインデックスに含めるか含めないか、そのページ内のリンクを辿るかどうかなどを指定できます。これにより、ウェブサイト運営者は検索エンジンに対して、自分のサイトの構造や内容に合わせた適切なインデックス化を促すことが可能となります。

robots metaタグは、ウェブサイトのヘッダー部分に記載します。記載方法は、< meta name="robots" content="取得許可設定" >というフォーマットになります。取得許可設定の部分には、検索エンジンクローラーに対する指示を記述します。

取得許可設定には、「all」「none」「index」「noindex」「follow」「nofollow」などの値を指定できます。「all」は全ての検索エンジンクローラーにページの取得を許可する設定で、「none」はその逆に全ての検索エンジンクローラーにページの取得を禁止する設定です。

「index」はページのインデックス登録を許可する設定で、「noindex」はインデックス登録を禁止する設定となります。「follow」はページ内のリンクを辿ることを許可する設定で、「nofollow」はリンクを辿ることを禁止する設定です。これらの値を組み合わせることで、より細やかな指示を検索エンジンクローラーに与えることができます。

robots metaタグの適切な使用方法

robots metaタグの適切な使用方法に関して、以下3つを簡単に解説していきます。

robots metaタグの取得許可設定の組み合わせ方
robots metaタグを使用すべきページとそうでないページ
robots metaタグとrobots.txtの違いと使い分け方

robots metaタグの取得許可設定の組み合わせ方

robots metaタグの取得許可設定は、「index」「noindex」「follow」「nofollow」などの値を組み合わせて指定します。例えば、content="index,follow"と指定すれば、そのページのインデックス登録とページ内リンクの取得を許可することになります。

一方、content="noindex,nofollow"と指定すれば、ページのインデックス登録とリンクの取得を共に禁止する設定となります。ページの性質に合わせて、適切な取得許可設定を選択することが重要です。

また、取得許可設定を組み合わせる際は、矛盾のない組み合わせにする必要があります。例えば、content="noindex,follow"のように、ページ自体のインデックスは禁止しつつ、ページ内リンクの取得は許可するといった指定が可能です。

robots metaタグを使用すべきページとそうでないページ

robots metaタグは、全てのページに設定する必要はありません。基本的には、検索エンジンにインデックスしてほしくないページにのみ、robots metaタグを設定すれば十分です。

例えば、管理者ページやメンバー専用ページ、重複コンテンツのあるページなどは、robots metaタグでnoindexを指定し、検索エンジンのインデックス対象から除外するのが一般的です。逆に、サイトにとって重要なページは、indexを指定してインデックスを促すことができます。

ただし、robots metaタグを設定しなかったページは、デフォルトでindex,followの設定になります。つまり、特に指定がない限り、ページはインデックス化とリンクの取得が許可された状態になるので注意が必要です。

robots metaタグとrobots.txtの違いと使い分け方

robots metaタグと似た仕組みで、robots.txtというテキストファイルを使った指定方法もあります。robots.txtは、robots metaタグよりも強い効力を持ち、デフォルトで検索エンジンクローラーに認識されます。

robots.txtは、サイト全体に対する指定を行うのに適しています。一方、robots metaタグは、ページ単位での細かな指定に向いています。両者の特性を理解した上で、使い分けることが大切です。

一般的には、サイト全体として検索エンジンに知られたくないページ群がある場合はrobots.txtで指定し、ページ単位で検索エンジンへの指示を変えたい場合はrobots metaタグを使うのが適切な使い分け方と言えます。

robots metaタグの記述例と詳細解説

robots metaタグの記述例に関して、以下3つを簡単に解説していきます。

robots metaタグでページのインデックス登録を禁止する記述例
robots metaタグでページ内リンクの取得を禁止する記述例
robots metaタグを用いたトラッキングパラメータへの対策

robots metaタグでページのインデックス登録を禁止する記述例

特定のページを検索エンジンのインデックスに含めたくない場合は、robots metaタグでnoindexを指定します。記述例は以下の通りです。

< meta name="robots" content="noindex" >

この記述を該当ページのHTML内のヘッダー部分に追加することで、そのページはGoogleなどの検索エンジンの検索結果に表示されなくなります。ただし、インデックス登録の禁止はあくまでクローラーに対する指示であり、完全に反映されるまでにはある程度の時間がかかることに注意が必要です。

また、noindexはページ単位の指定になるため、サイト内の一部のページのみインデックスを禁止したい場合に有効です。サイト全体のインデックスを禁止したい場合は、robots.txtを使用する方が適切でしょう。

robots metaタグでページ内リンクの取得を禁止する記述例

特定のページから他のページへのリンクを検索エンジンに辿らせたくない場合は、robots metaタグでnofollowを指定します。記述例は以下の通りです。

< meta name="robots" content="nofollow" >

この指定により、該当ページ内のリンクは検索エンジンのリンク評価の対象外となります。つまり、そのページからリンクされているページへのリンクジュースの受け渡しが行われなくなるということです。

外部サイトへのリンクが多数あるページや、信頼できないサイトへのリンクがあるページなどで、nofollowの指定が有効活用できます。nofollowを指定したページ自体は、通常通り検索エンジンのインデックス対象となることに注意しましょう。

robots metaタグを用いたトラッキングパラメータへの対策

トラッキングパラメータ付きのURLは、検索エンジンからは重複コンテンツと見なされる可能性があります。これを避けるためにも、robots metaタグを活用することをおすすめします。

具体的には、トラッキングパラメータ付きのURLのページに対して、以下のようなrobots metaタグを指定します。

< meta name="robots" content="noindex,follow" >

こうすることで、トラッキングパラメータ付きのURLはインデックス対象から除外されつつ、そのページ内のリンクは通常通り辿られるようになります。これにより、URLの正規化によるSEO上のデメリットを回避しつつ、アクセス解析のためのデータ取得は継続できるようになるのです。

robots metaタグと正規表現を組み合わせた柔軟な指定方法

robots metaタグと正規表現を組み合わせた柔軟な指定方法に関して、以下3つを簡単に解説していきます。

robots metaタグと正規表現を組み合わせた一括指定の方法
正規表現を活用したクエリパラメータへのrobots metaタグ適用
robots metaタグと正規表現の組み合わせで実現できるSEO施策

robots metaタグと正規表現を組み合わせた一括指定の方法

robots metaタグは、デフォルトではページ単位での指定となります。しかし、正規表現を組み合わせることで、URLパターンに一括でrobots metaタグを適用することも可能です。

例えば、WordPressの投稿ページに一括でnoindexを指定したい場合は、functions.phpに以下のようなコードを記述します。

function add_robots_noindex() {
  if (is_single()) {
    echo '< meta name="robots" content="noindex,follow" >';
  }
}
add_action('wp_head', 'add_robots_noindex');

このコードでは、WordPressの条件分岐タグを使って投稿ページ(is_single())にのみ、noindex,followを適用しています。これにより、投稿ページ全てを一括でインデックス対象から除外できるようになります。

正規表現を活用したクエリパラメータへのrobots metaタグ適用

robots metaタグと正規表現の組み合わせは、クエリパラメータ付きのURLにも活用できます。例えば、?sort=で始まるクエリパラメータ付きのURLに一括でnoindexを指定するには、以下のような正規表現を使用します。

function add_robots_noindex_for_query() {
  if (preg_match('/?sort=/', $_SERVER['REQUEST_URI'])) {
    echo '< meta name="robots" content="noindex,follow" >';
  }
}
add_action('wp_head', 'add_robots_noindex_for_query');

この例では、preg_match()関数を使って、現在のURLに?sort=が含まれているかを判定しています。含まれている場合は、そのページにnoindex,followを適用するという仕組みです。

他にも、/page/d+/のような正規表現を使えば、ページネーション付きのURLに一括でrobots metaタグを適用することも可能です。このように、正規表現とrobots metaタグを組み合わせることで、柔軟かつ強力なSEO施策が実現できるのです。