标签目录:HttpLimitReqModule

以下是与标签 “HttpLimitReqModule” 相关联的文章

Nginx使用HttpLimitReqModule模块限制特定页面的爬虫频率

最近在做SEO的时候发现线上的详情页被百度爬虫抓取的频率很高,想到了应用Nginx使用HttpLimitReqModule模块来做限制,但是又不能一刀切,目前只是想把详情页的爬虫限制下频率,首先介绍下这个模块的使用手册: 官方wiki介绍:http://wiki.nginx.org/HttpLimitReqModule 此模块能通过特定的客户端标识(如IP,UA等)来限制……