勇人です(^^ゝ

いつも購読有り難うございます。

今日のテーマは、

「検索エンジンを寄せ付けない方法」です。

事の発端は、この前後の記事によるものですが、

「検索エンジンをブロックするとは、どうやれば良いか?」
と質問を頂いたので少し触れてみたいと思います。

 

検索エンジンをブロックするには。

検索エンジンブロック

時には、検索エンジンをブロックする事が有利になるって事もあるんです。

詳細は、この前後の記事を見れば分かりますが、少し触れておきましょう。

 

robots.txtを使ってブロックする方法※クローラー拒否

設置方法は超簡単です。

メモ帳及び、のテキストエディタで、「robots.txt」というファイル名を作成して
以下の記述を必要に応じて記入して最後に保存、そして独自ドメインの
ルートディレクトリにアップロードするのみです。

 

1.全てのロボットを拒否する方法

User-agent: *
Disallow: /

 

2.Googleのみを拒否

User-agent: Googlebot
Disallow: /

 

3.Bingだけ拒否

User-agent: bingbot
Disallow: /

4.yahooを拒否

User-agent: Slurp
Disallow: /

 

これらはサーバーにファイルをアップロードする形式で
クローラーのアクセスを拒否するという方法です。

 

続いてはmetaタグで指定する場合です。

これはクローラーが来るけど検索エンジンに
インデックスさせないという方法ですね。

 

5.robotsMETAタグで拒否

検索エンジンにインデックスさせないページに以下を挿入。

<meta name=“robots” content=“noindex”>
検索エンジンにリンク先を辿らせないページに以下を挿入
<meta name=“robots” content=“nofollow”>
ページのインデックスもリンクも両方させない場合、以下を挿入
<meta name=“robots” content=“noindex,nofollow”>
尚、metaタグの挿入位置ですが、HEADとHEADの間に挿入します。
参考例でインデックスもリンクも両方させない場合の記述サンプルが以下です。
<HEAD>
<meta name=”keywords” content=”検索エンジンブロックA,検索エンジン拒否”>
<meta name=”description” content=”検索エンジンブロック”>
<TITLE>検索エンジンブロック拒否</TITLE>
<meta name=“robots” content=“noindex,nofollow”>
</HEAD>
このようになります。
拒否する事ってあると思うので、是非活用下さい。