爬虫抓取 - 雷灵模板 - 网络与IT技术踩坑实战笔记

登录

雷灵

累计撰写 164 篇文章
累计收到 2 条评论

包含标签【爬虫抓取】的文章

2026-10-5
Sitemap 提交了搜索引擎死活不抓、提示格式错误？排查 XML 字符未转义、Lastmod 假更新与索引分卷我踩过的几个坑配置 XML 站点地图看似简单，但实测中经常踩中特殊字符未转义导致解析崩溃、lastmod 全局刷成当前时间导致蜘蛛失效、脏链接进地图透支配额等坑。本文复盘 5 个高频陷阱与 Nginx 静态 gzip 缓存方案。
- 2026年-10月-5日
- 11 阅读
- 0 评论
技术教程
2026-10-5
robots.txt 配错导致全站收录暴跌？排查 Disallow 贪婪匹配、静态资源误拦与 noindex 冲突我踩过的几个坑 robots.txt 写错一条规则，可能导致搜索引擎收录断崖式下跌。本文复盘排查 robots.txt 踩过的关键坑：Disallow 贪婪前缀误伤正常页面、阻断 CSS/JS 静态资源导致渲染降权、误以为 Disallow 能彻底删索引而与 noindex 产生死锁，以及百度与 Google 规则解析差异，附 Nginx 配置与验证方案。
- 2026年-10月-5日
- 10 阅读
- 0 评论
技术教程
2026-10-5
网站改版换域名收录断崖式下跌？排查 301 重定向链、死循环与参数丢失我踩过的几个坑网站改版、切换 HTTPS 或规范主域名时，301 重定向配错极易导致权重断崖和爬虫弃抓。复盘排查多跳重定向链、CDN与源站规则冲突引发死循环、Nginx参数丢失以及一刀切跳首页变成软404的真实踩坑细节，附上正确的配置与验证方法。
- 2026年-10月-5日
- 8 阅读
- 0 评论
技术教程