-
网站加了防刷限流与WAF防护，搜索引擎蜘蛛抓取却大面积报403与429？排查仅凭UA放行导致假蜘蛛泛滥、rDNS双向反查失效与Nginx limit_req误杀爬虫，我踩过的几个深坑 很多站长配了WAF或Nginx防刷限流后，发现百度与谷歌蜘蛛抓取频次断崖式下跌，后台全是403 Forbidden和429 Too Many Requests。本文复盘排查仅靠User-Agent白名单放行导致假蜘蛛泛滥与伪造攻击、Nginx limit_req单IP并发突发误伤爬虫、反向DNS双向PTR反查配置漏洞以及CDN代理层透传真实IP失效等实战大坑，并给出生产环境经过验证的合规放行方案与Nginx配置。