テスト環境、開発環境、STG環境がインデックスされてしまった場合の削除方法

テスト環境、開発環境、STG環境が何かの手違いでGoogleにインデックスされてしまった場合の対処法、削除の仕方の備忘録です。

正しい方法は、ベーシック認証などのパスワード保護をかけるか、noindexを設定することです。

ベーシック認証をかける

サイトにベーシック認証をかけます。次回クローリング時にアクセスできないので、徐々にインデックスから削除されていきます。

時間はかかりますが、これが正しい対処法のようです。

全ページにnoindexを設定する

もう１つは、カノニカルタグでnoindexを設定することで削除されます。クローラーがクローリングしてから削除されるのである程度の期間がかかります。

どちらともある程度の時間はかかりますが、これが正しい処理のようです。

robots.txtでファイルをブロックしてはいけない

カノニカルタグでnoindexを設定した際に重要なことは、サーチコンソールのヘルプページにも記載がありますが、robots.txtでアクセスをブロックしていてはいけません。

User-agent: *
Allow: /

アクセス許可を設定する必要があります。

参考：Google から情報を削除する – Search Console ヘルプ

robots.txt ファイルでブロックしている場合、Google はページをフェッチしません。つまり、Google にページをクロールさせて、noindex タグ（またはヘッダー）を見せる必要があるのです。直感的に理解しづらいのですが、Google にページをフェッチさせて失敗させるか（たとえばパスワード保護を利用して）、noindex タグを検出させて検索結果から除外させる必要があるわけです。

※この場合、robots.txt自体を設置しないいう方法もありかと思いますが、設置していないとすでにインデックスされているページをクローリングしない可能性もありますので、Allow: /で設置した方がよさそうに思います。（ここは詳しいところはよくわかりません）

インデックスから削除されてから、robots.txtでクローリングさせないように設定します。

User-agent: *
Noindex: /

やってはいけないこと、やらない方がいいこと

一番削除するのに早い方法は、GoogleサーチコンソールのURL削除ツールを使って削除することのようですが、間違ってインデックスされてしまったページを削除するのには正しい使い方でないようです。

参考：URL 削除ツール – Search Console ヘルプ

あくまでもサーチコンソールのURL削除ツールは一時的な削除処理のためのものであって、永久に削除する方法はベーシック認証をかけるか、noindexを設定することです。

もしすでにテスト環境がサーチコンソールに登録されていたのであれば、URL削除ツールを使って削除してから認証をかけるといいと思います。

どうしても一刻も早く削除したい場合は、テスト環境のサイトをサーチコンソールに登録してURL削除ツールを使うということですが、必要はないようです。

URL削除ツールで削除する場合は

URL削除ツールを使う前に、301リダイレクト、404もしくは410、パスワード保護によるアクセスブロックを事前にしておいてから、URL削除ツールを使います。

参考URL

robots.txt ファイルについて – Search Console ヘルプ
robots.txtがないとグーグルのインデックスから消えるかも | 海外SEO情報ブログ
テスト環境が検索結果に表示された際の対処法について – Google プロダクト フォーラム