勇人です(^^ゝ
いつも購読有り難うございます。
今日のテーマは、
「検索エンジンを寄せ付けない方法」です。
事の発端は、この前後の記事によるものですが、
「検索エンジンをブロックするとは、どうやれば良いか?」
と質問を頂いたので少し触れてみたいと思います。
検索エンジンをブロックするには。
時には、検索エンジンをブロックする事が有利になるって事もあるんです。
詳細は、この前後の記事を見れば分かりますが、少し触れておきましょう。
robots.txtを使ってブロックする方法※クローラー拒否
設置方法は超簡単です。
メモ帳及び、のテキストエディタで、「robots.txt」というファイル名を作成して
以下の記述を必要に応じて記入して最後に保存、そして独自ドメインの
ルートディレクトリにアップロードするのみです。
1.全てのロボットを拒否する方法
User-agent: *
Disallow: /
2.Googleのみを拒否
User-agent: Googlebot
Disallow: /
3.Bingだけ拒否
User-agent: bingbot
Disallow: /
4.yahooを拒否
User-agent: Slurp
Disallow: /
これらはサーバーにファイルをアップロードする形式で
クローラーのアクセスを拒否するという方法です。
続いてはmetaタグで指定する場合です。
これはクローラーが来るけど検索エンジンに
インデックスさせないという方法ですね。
5.robotsMETAタグで拒否
検索エンジンにインデックスさせないページに以下を挿入。
<meta name=“robots” content=“noindex”>
<meta name=“robots” content=“nofollow”>
<HEAD>
<meta name=”keywords” content=”検索エンジンブロックA,検索エンジン拒否”>
<meta name=”description” content=”検索エンジンブロック”>
<TITLE>検索エンジンブロック拒否</TITLE>
<meta name=“robots” content=“noindex,nofollow”>