我想屏蔽掉这只蜘蛛,用了以下规则,发现只有首页有效,内页依然在爬,是不是写法上不全面?怎样修改?
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot$
RewriteRule ^.* - [F,L]
之前因为换了这个新域名www.tvtv.hk,对旧域名做过301跳转,修改.htaccess也遇到一样的问题,首页能成功执行,内页不行
单看这句没有问题,要看看在这之前是否有其他rewrite影响。
单看这句没有问题,要看看在这之前是否有其他rewrite影响。