Tag:クローラ

何らかの理由で

例えば

• コンテンツに記述できない
• robots.txtで指定できない

時、apacheのレスポンスヘッダを使う方法がある。