Nginx中配置過濾爬蟲的User-Agent方法

Nginx中配置過濾爬蟲的User-Agent方法

一看不得了,基本上都是被一個user agent叫”yisouspider”的東西給刷屏了,一看就不知道是哪的蜘蛛,太沒節(jié)操了。
找到根目錄配置區(qū),增加user agent過濾判斷語句,發(fā)現(xiàn)叫”yisouspider”的直接返回403

注1:如果需要增加多個過濾,這樣做

?($http_user_agent?~*?"spider1|spider2|spider3|spider4")

,中間用|隔開就行了

注2:如果你是用的是子目錄博客,像我的一樣,那么要找到 “location /blog/” 這樣的區(qū)段去修改

location?/?{ ......其它配置 if?($http_user_agent?~*?"yisouspider")?{ return?403; } }

配置完成wq保存后reload一下nginx,然后使用以下命令自我測試,地址自己改。沒裝curl的我就沒辦法了,自己apt或者yum裝一個吧,神器來的。

curl?-i?-a?"yisouspider"?www.slyar.com/blog/

看到返回403就可以了,說明配置成功

Nginx中配置過濾爬蟲的User-Agent方法

? 版權(quán)聲明
THE END
喜歡就支持一下吧
點贊7 分享