技术SEO - 雷灵模板 - 网络与IT技术踩坑实战笔记 _第8页

登录

雷灵

累计撰写 267 篇文章
累计收到 2 条评论

包含标签【技术SEO】的文章

2026-10-12
为了聚合 SEO 权重把独立站点反代到主站子目录？排查 Nginx proxy_pass 斜杠陷阱、上游 301 端口泄露与内链根路径 404 我踩过的几个坑为了将独立博客或文档站的权重聚拢到主域名，很多站长会用 Nginx 反代挂到子目录。上线后却常遇到爬虫大面积 404、重定向泄露内网端口以及内链断层等问题。本文复盘 proxy_pass 斜杠行为、上游 301 协议端口丢失与根相对路径穿透的具体排查与修复方案。
- 2026年-10月-12日
- 133 阅读
- 0 评论
技术教程
2026-10-12
网站搞灰度发布搜索收录却断崖暴跌？排查 Nginx 随机分流致快照跳变、无 Cookie 爬虫压垮单节点与作弊误判我踩过的几个坑许多站点在接入灰度发布或 A/B 测试后，遭遇搜索引擎抓取频次断崖式下跌和核心快照消失。本文复盘排查过程，深入分析无 Cookie 爬虫跨版本跳变触发 Cloaking 作弊误判、Nginx upstream 一致性哈希对空值倾斜压垮单节点、灰度环境缺失 SSR 导致爬虫抓取空白空壳等核心根因，并给出 Nginx 爬虫强制旁路与负载均衡优化方案。
- 2026年-10月-12日
- 43 阅读
- 0 评论
技术教程
2026-10-10
网站开了 Brotli 压缩百度收录却断崖暴跌？排查 Baiduspider 压缩协议兼容、Nginx 动静态降级与 Content-Encoding 抓取乱码我踩过的几个坑为了拉高页面评分开启 Brotli 压缩，结果几天后百度收录断崖式暴跌，日志里爬虫抓取频报乱码与内容空白。本文实盘复盘 Baiduspider 压缩协议兼容性陷阱、Nginx 动态与静态压缩降级机制，以及通过 map 指令针对搜索引擎蜘蛛优雅回退到 gzip 的完整方案。
- 2026年-10月-10日
- 68 阅读
- 0 评论
技术教程
2026-10-10
网站配了 IPv6 搜索收录却断崖暴跌？排查 AAAA 记录黑洞、Nginx 漏配监听与爬虫超时我踩过的几个坑为网站开启 IPv6 双栈后浏览器访问正常，Googlebot 和百度蜘蛛却大面积抓取超时、收录骤降？本文深入复盘 AAAA 记录黑洞、Happy Eyeballs 掩盖问题、Nginx 漏配 IPv6 监听、ip6tables 防火墙拦截以及 ICMPv6 PMTUD 导致的爬虫丢包卡死，给出完整的排错与双栈调优方案。
- 2026年-10月-10日
- 91 阅读
- 0 评论
技术教程
2026-10-10
网站套了 Cloudflare 防 CC，百度收录却彻底归零？排查 Bot Fight Mode 误杀蜘蛛、WAF 规则放行与假爬虫穿透我踩过的几个坑网站开启 Cloudflare 防御 CC 攻击后，百度蜘蛛抓取频报 403 或验证码拦截，导致搜索收录断崖式下跌？本文复盘 Bot Fight Mode 误杀国内爬虫机制，详解 Cloudflare WAF 自定义规则分层配置、真假蜘蛛 ASN 与源站双向反查策略，彻底解决 CDN 防护与搜索引擎收录冲突。
- 2026年-10月-10日
- 78 阅读
- 0 评论
技术教程
2026-10-9
网站加了 Nginx 限流防 CC，搜索收录却断崖暴跌？排查 limit_req 误杀蜘蛛、503 降权与 map 白名单旁路我踩过的几个坑网站配置 Nginx limit_req 限流防 CC 后恶意请求被挡，却导致搜索引擎蜘蛛因高并发被大面积返回 503，抓取配额暴跌、新文收录停滞。本文复盘 limit_req 误杀蜘蛛的原因，分析在 location 中用 if 判断 UA 的安全隐患，并给出基于 geo 与 map 空 key 机制的蜘蛛无感旁路白名单配置与日志验证方案。
- 2026年-10月-9日
- 99 阅读
- 0 评论
技术教程
2026-10-9
浏览器访问全绿但搜索引擎死活不抓？排查 SSL 中间证书链缺失、Nginx fullchain 配置与爬虫握手报错我踩过的几个坑很多站长遇到过这种怪事：浏览器访问网站全绿灯且HTTPS正常，但百度或谷歌爬虫死活抓不到甚至收录暴跌。本文复盘我因 Nginx 证书配置错误把单证书当成完整链、缺少 Intermediate CA 导致搜索引擎爬虫 SSL 握手失败的真实踩坑经历，详解浏览器 AIA 机制与爬虫校验差异、fullchain.pem 正确拼接顺序以及 openssl 排查命令。
- 2026年-10月-9日
- 69 阅读
- 0 评论
技术教程
2026-10-8
服务器天天被假蜘蛛爬到 CPU 100%？排查 User-Agent 伪造、rdns 双向反查与 Nginx 防火墙放行真爬虫我踩过的几个坑服务器频繁被伪造 Baiduspider、Googlebot UA 的流氓采集程序打爆 CPU，直接封禁又怕误杀真蜘蛛拖垮 SEO 收录。复盘我在 Nginx 过滤、rdns 双向反查、DNS 解析延迟以及 CDN 真实 IP 透传中踩过的 4 个典型坑，并梳理一套兼顾抓取配额与系统安全的异步验证架构。
- 2026年-10月-8日
- 61 阅读
- 0 评论
技术教程
2026-10-8
新发了几百篇文章爬虫死活不抓？排查网站孤岛页面 (Orphan Pages)、点击深度过大与内链断层的几个排坑记录新发文章提交了 Sitemap 爬虫却死活不抓？排查发现大量长尾页面因缺乏站内链接沦为孤岛页面 (Orphan Pages)，且线性分页导致点击深度过大。本文复盘真实踩坑经历，梳理 JavaScript 翻页爬虫黑洞、跨度分页降深、内链聚类与 Python 孤岛页面审计脚本。
- 2026年-10月-8日
- 78 阅读
- 0 评论
技术教程
2026-10-7
网站做了移动端适配收录却暴跌？排查 Vary: User-Agent 缺失、Alternate 双向映射与 Nginx 爬虫跳转死循环我踩过的几个坑站长做移动端适配或双端分流后，常遇到移动收录断崖下跌、爬虫抓取异常。本文从真实排查经历出发，深挖缺少 Vary: User-Agent 导致的 CDN 缓存污染、PC 与 m 站 Alternate/Canonical 双向映射未闭环、以及 Nginx 正则分流误伤爬虫引发的死循环，提供完整排错命令与可直接落地的配置方案。
- 2026年-10月-7日
- 66 阅读
- 0 评论
技术教程

6
7
8
9
10