最新消息:

标签:robots.txt

减轻Bing爬虫MSNBot给网站造成的压力
Bind

减轻Bing爬虫MSNBot给网站造成的压力

admin 11年前 (2014-02-07) 3833浏览 0评论

最近某客户的VPS经常因为负载过高而无法访问。用ras-shell给VPS硬重启后过几十分钟就又因为负载高而无法访问了。 用netstat命令可以看到某些IP频繁访问网站的所有网页,给网站造成的压力很大。用host命令查看这些IP,可以看到这些IP都...