勇人です(＾＾ゝ
いつも購読有り難うございます。
今日のテーマは、
「検索エンジンを寄せ付けない方法」です。
事の発端は、この前後の記事によるものですが、
「検索エンジンをブロックするとは、どうやれば良いか？」
と質問を頂いたので少し触れてみたいと思います。
検索エンジンをブロックするには。
時には、検索エンジンをブロックする事が有利になるって事もあるんです。
詳細は、この前後の記事を見れば分かりますが、少し触れておきましょう。
robots.txtを使ってブロックする方法※クローラー拒否
設置方法は超簡単です。
メモ帳及び、のテキストエディタで、「robots.txt」というファイル名を作成して
以下の記述を必要に応じて記入して最後に保存、そして独自ドメインの
ルートディレクトリにアップロードするのみです。
１．全てのロボットを拒否する方法
User-agent: *
Disallow: /
２．Ｇｏｏｇｌｅのみを拒否
User-agent: Googlebot
Disallow: /
３．Bingだけ拒否
User-agent: bingbot
Disallow: /
４．yahooを拒否
User-agent: Slurp
Disallow: /
これらはサーバーにファイルをアップロードする形式で
クローラーのアクセスを拒否するという方法です。
続いてはmetaタグで指定する場合です。
これはクローラーが来るけど検索エンジンに
インデックスさせないという方法ですね。
５．robotsMETAタグで拒否
検索エンジンにインデックスさせないページに以下を挿入。
<meta name=“robots” content=“noindex”>
検索エンジンにリンク先を辿らせないページに以下を挿入
<meta name=“robots” content=“nofollow”>
ページのインデックスもリンクも両方させない場合、以下を挿入
<HEAD>
<meta name=”keywords” content=”検索エンジンブロックA,検索エンジン拒否”>
<meta name=”description” content=”検索エンジンブロック”>
<TITLE>検索エンジンブロック拒否</TITLE>
<meta name=“robots” content=“noindex,nofollow”>
