noindex - 雷灵模板 - 网络与IT技术踩坑实战笔记

登录

雷灵

累计撰写 197 篇文章
累计收到 2 条评论

包含标签【noindex】的文章

2026-10-14
站内搜索被恶意刷出几十万个垃圾 URL 导致全站收录断崖下跌？排查爬虫蜘蛛陷阱、noindex 拦截与 Nginx 防御我踩过的几个坑站内搜索被黑产注入大量博彩违禁词，导致搜索引擎收录海量垃圾动态页面、正常内容收录暴跌？复盘这次排查过程，说清楚蜘蛛陷阱的形成机理、光靠 robots.txt 为何会失效、X-Robots-Tag 响应头与 meta noindex 的阻断差异，以及如何通过 Nginx 限制搜索词特征守住抓取配额。
- 2026年-10月-14日
- 8 阅读
- 0 评论
技术教程