周一晨RabbitMQ集群出现大规模消息堆积,经排查发现系消费者未设置prefetch_count,导致大量消息涌至,且重任务导致内存耗尽。此外,异常捕获未处理引发死信消息死循环,加重了CPU压力。正确设置prefetch_count并妥善处理异常是避免此类问题的关键。
周一早晨刚到工位,告警群里就响个不停。RabbitMQ 集群的内存水位线报警连发了十几条,监控看板上核心订单队列的 messages_ready 一路从平时的几千飙升到 140 多万,更麻烦的是 messages_unacknowledged 也卡在几万纹丝不动。上游业务接口开始出现投递超时,生产者通道直接被 broker 触发的内存高水位线(vm_memory_high_watermark)挂起。
消息堆积在生产环境算得上高频事故。让人棘手的是,消费者服务明明显示全部在线,堆积的数字却一直在往上涨。排查了一整天,翻了业务日志、连接池配置和网络抓包,才把几个隐蔽的坑点理清楚。
现象确认:别只看 Ready,先看 Unacked 与 Consumer 状态
很多人一看到队列堆积,下意识就觉得是流量太大、消费能力不够。但这次事故里,上游每秒请求量并没有明显突增,平时的吞吐量完全抗得住。
在服务器上执行管理命令:
rabbitmqctl list_queues name messages_ready messages_unacknowledged consumers memory
终端打印出来的指标很反常:
Timeout: 60.0 seconds ...
Listing queues for vhost / ...
name messages_ready messages_unacknowledged consumers memory
order.create.queue 1428512 2480 8 1847291040
有 8 个消费者连接在队列上,Ready 消息有一百多万,但 Unacked 消息固定在 2480 条,很长时间一条都没减少。
这说明消息已经推给了消费者,但消费者既没有回复 ack,也没有报错 nack。
坑一:未配置 prefetch_count,单个消费者暴饮暴食导致假死
排查第一个原因就在 Unacked 数量上。
当时 8 个消费者是分别部署在两台机器上的微服务实例。排查代码时发现,消费端的 channel 创建之后,直接调用了 basic_consume,根本没有设置 QoS(Quality of Service)。
在 RabbitMQ 的默认机制里,如果未主动指定 prefetch_count(或者将其设为 0),broker 会遵循简单的分发策略:只要队列里有消息、客户端连接连着,broker 就会尽可能快地把消息源源不断推送给客户端,塞满客户端的本地缓冲区。
# 事故代码:没有配置 basic_qos
channel.queue_declare(queue='order.create.queue', durable=True)
channel.basic_consume(queue='order.create.queue', on_message_callback=callback)
channel.start_consuming()
这样带来的后果非常严重。
其中两台 Pod 因为早晨网络抖动先重启了 10 秒,重启完成建立连接的瞬间,RabbitMQ 瞬间把几十万条消息一股脑全推给了这两个刚上线的实例。
这两个实例的 JVM 堆内存瞬间被打爆,GC 停顿长达数秒,甚至频繁触发 Full GC。剩下的 6 个消费者实例还在慢慢处理自己手头的那几条,队列整体消费速率瞬间跌到底部。
更麻烦的是,这批消息里夹杂着一部分需要调用第三方支付对账接口的慢任务,单个处理需要 2 秒。一旦这批慢任务全部分配给某一个客户端,该客户端后面的所有普通消息全部被堵死在客户端内存队列里。
正确的做法是显式限制未确认消息的上限:
# 修复后:严格限制每个通道只预取合理数量的消息
channel.basic_qos(prefetch_count=50)
channel.basic_consume(queue='order.create.queue', on_message_callback=callback)
对于单条处理耗时较长的重业务(比如图片处理、音视频转码、跨网络调用),prefetch_count 建议设置为 1 到 10,保证谁闲下来谁去拉取;对于纯内存或高吞吐的快速操作,可以设为 50 到 200。设为 0 约等于在生产环境埋雷。
坑二:异常捕获直接 requeue=True,毒丸消息引发死循环
把 prefetch 改为 50 发布上线后,消费速率恢复了一阵,但十几分钟后,Unacked 数量再次出现停滞,并且消费节点的 CPU 使用率直接被拉到了 100%。
查看消费节点的业务日志,发现了密密麻麻的同一种错误:
ERROR [order-worker-3] c.x.service.OrderConsumer: JSON parse error: Unrecognized field "extra_coupon_id"
ERROR [order-worker-3] c.x.service.OrderConsumer: JSON parse error: Unrecognized field "extra_coupon_id"
每秒刷出几千条同样的报错。顺着排查消费端的 catch 逻辑:
try {
processOrder(message);
channel.basicAck(deliveryTag, false);
} catch (Exception e) {
logger.error("处理订单消息失败", e);
// 坑点所在:发生任何异常都无脑放回队列头部
channel.basicNack(deliveryTag, false, true);
}
第三个参数 requeue=true 意味着把处理失败的消息重新放回队列头部。
上游某个新版本客户端发出了格式异常的数据字段,反序列化报错。消费者拿到消息,报错,执行 nack(requeue=true);RabbitMQ 立即把这条消息重新投递给它;消费者在 0.1 毫秒内再次拿到它,再次报错,再次放回。
这一条“毒丸”(Poison Message)在 RabbitMQ 和消费者之间死循环打转。8 个消费者线程全在疯狂处理这几条无法解析的消息,CPU 被打满,真正的正常消息根本得不到执行机会。
生产环境必须严格区分业务异常与临时系统异常。
格式错误、业务逻辑不合规等不可恢复的异常,坚决不能放回原队列,应该结合死信交换机(Dead Letter Exchange, DLX)沉淀或者记录错误日志后直接 ack 掉;只有数据库临时连不上、下游网络短时超时这类可能在几秒后恢复的情况,才考虑延迟重试或者限制重试次数。
死信队列的配置并不复杂,声明主队列时绑定死信参数即可:
# 声明死信交换机和死信队列
channel.exchange_declare(exchange='order.dlx.exchange', exchange_type='direct', durable=True)
channel.queue_declare(queue='order.dlx.queue', durable=True)
channel.queue_bind(queue='order.dlx.queue', exchange='order.dlx.exchange', routing_key='order_dead')
# 声明主队列,附带死信参数
arguments = {
'x-dead-letter-exchange': 'order.dlx.exchange',
'x-dead-letter-routing-key': 'order_dead'
}
channel.queue_declare(queue='order.create.queue', durable=True, arguments=arguments)
在消费逻辑里,遇到致命错误时执行 basic_nack(delivery_tag, requeue=False) 或 basic_reject(delivery_tag, requeue=False),消息就会自动流入死信队列,后续再由离线脚本或排查程序单独分析,不会阻塞主链路。
坑三:下游慢调用打满连接池,心跳还在但工作线程全卡死
排查到第三步,发现偶尔还有几台实例虽然配置了 prefetch 和死信队列,但还是会陷入停滞。
奇怪的是,RabbitMQ 管理界面的 Connection 显示健康,Heartbeat 没有断开,但是消费速率显示为 0。
排查堆栈(jstack 或 pprof)后找到了元凶:消费线程在下游 HTTP 调用或数据库写入时卡住了。
当时消费端调用了一个库存中心的 RPC 接口,接口使用了默认的 HttpClient 配置,没有单独设置 SocketTimeout 和 ConnectTimeout。碰上下游库存系统执行分表维护,数据库发生锁等待,RPC 接口挂起。
更要命的是数据库连接池(HikariCP)的 connection-timeout 设置了 60 秒。所有的消费工作线程全部阻塞在 getConnection() 的等待队列中。
从 RabbitMQ 的视角来看:
客户端通过长连接定时发送的心跳包是由单独的底层网络线程维护的,心跳一切正常。消费者既然还在,且 Unacked 的消息还没超时,RabbitMQ 就认为这台客户端还在正常干活,不会把配给它的消息踢走重发。但负责处理消息的工作线程池早就全员处于 WAITING 状态,业务消费实际已经假死。
要解决这种隐蔽的假死:
所有外部 I/O 必须配置短且明确的超时时间(例如 ConnectTimeout 2s, SocketTimeout 5s),宁可快速失败抛出异常进入重试或死信,也不能让线程无限等待。为消费服务配置健康检查探针,不仅检查网络端口,更要监控消费线程池的活跃度和任务执行时长。如果发现所有线程持续 2 分钟无响应,直接触发 Pod 重启。
坑四:突发百万堆积时盲目扩容消费者,直接击垮下游数据库
很多团队在遇到百万级消息堆积时,第一反应是加机器,把消费者从 8 个瞬间扩容到 80 个。
我们在做压力测试和应急演练时就踩过这个坑。
消息队列本身是削峰填谷的蓄水池。上游产生堆积,说明消费速度本来就到了瓶颈。如果突然把消费并发提高 10 倍,意味着下游的 MySQL、Redis 或者第三方接口将瞬间承受 10 倍的并发写入压力。
当时我们尝试把 Pod 扩容了 4 倍,结果消息还没消化 5 万条,MySQL 的 CPU 直接飙到 100%,连接池被打满,报错由单点故障直接扩大成了全链路瘫痪。
真正处理突发几百万甚至上千万堆积的应急流程:
第一步:停掉生产端的非核心业务推送,或者开启降级限流,先守住 RabbitMQ 的内存水位,避免触发内存警戒线把所有连接挂起。
第二步:如果队列里堆积的消息已经具有时效性(比如超过 30 分钟未支付的订单已由定时任务兜底取消),可以考虑临时修改消费逻辑,直接写一个极简的临时消费者:这个消费者不做任何业务校验,也不查库,只做一件事,就是从队列拉出消息,原样写入到高性能的磁盘文件或者 Kafka、临时分表,然后直接向 RabbitMQ 回复 ack。
这种轻量抽水脚本几分钟内就能把 RabbitMQ 中堆积的几百万条消息清空,让 RabbitMQ 退出高内存水位风险,恢复核心链路的实时响应。
第三步:等早晚业务低峰期到来时,再写离线补偿程序,按受控的速率(比如每秒 300 条)从临时文件或暂存表读取消息,平稳补写入库。
排查与配置速查
几个在线上跑 RabbitMQ 必须落地的基础规则:
- prefetch_count 必配:不要留空,耗时长任务设 1 到 10,常规任务设 20 到 50。
- 死信队列必建:主队列配置 x-dead-letter-exchange,不可恢复的业务异常执行 basic_nack(requeue=False),绝不无脑 requeue=True。
- 超时时间严格约束:消费逻辑内部的所有 RPC、HTTP、SQL 查询必须设置严格的超时时间,避免工作线程池挂死而心跳虚假存活。
- 紧急堆积分类处理:堆积百万以上切忌盲目扩容拉爆下游,优先评估消息时效性,通过临时离线转存或削峰抽水保住基础设施。
文章标题:RabbitMQ 消息堆积几百万怎么办?排查消费者假死、prefetch 预取与死信队列我踩过的几个坑
文章链接:https://www.llbbs.cn/jishujaocheng/332.html
本站文章均为原创,未经授权请勿用于任何商业用途
评论一下?