apache headerでクローラ制御

何らかの理由で

例えば

• コンテンツに記述できない
• robots.txtで指定できない

時、apacheのレスポンスヘッダを使う方法がある。

Debianの場合、

/etc/apache2/mods-enabled/ headers.load

があるのを確認、ない場合 root で a2enmod headers を実行

/etc/apache/sites-available/

の中の対象のドメインの設定ファイルに、条件とその際出力するヘッダーを記述する。

	<FIlesMatch "rd_(magd|hpd|img)\.cgi$">
	    Header set X-Robots-Tag "noindex"
	</FIlesMatch>

指定できる項目は、robots.txt と同じようです。 参照