在Ubuntu服务器上运维Redis集群时,多数故障集中在节点通信超时、内存碎片、主从切换异常、槽位迁移失败以及配置不一致五类场景。快速定位的关键是依次检查集群状态命令、系统日志与网络连通性,并优先恢复多数派主节点,避免脑裂和数据丢失。

一、Redis集群故障排查的基础命令与状态判断

运维Redis集群的第一步是掌握集群状态检查命令。在Ubuntu服务器上,登录任一节点后执行 redis-cli -c -h 节点IP -p 端口 cluster info,重点观察 cluster_state 是否为 ok,以及 cluster_slots_assigned 是否等于16384。若 cluster_state 显示 fail,说明有槽位不可用;若 cluster_known_nodes 与实际节点数不符,则可能存在节点失联或配置未同步。

另一个高频命令是 redis-cli -c -h 节点IP -p 端口 cluster nodes,输出中需要关注每个节点的角色(master/slave)、连接状态(connected/disconnected)以及负责的槽位范围。例如,某次生产环境排查中发现一个从节点持续显示 disconnected,但系统进程存在,最终通过 iftop 确认是节点间 16379 端口被防火墙拦截,导致集群总线通信失败。

建议将 cluster info 和 cluster nodes 的输出纳入监控脚本,每60秒采集一次。当 cluster_state 非 ok 时,立即触发告警,并保留现场输出快照,便于后续对比分析。Ubuntu下可使用 systemd 服务配合 shell 脚本实现轻量级监控,无需额外部署复杂系统。

二、节点通信超时与网络层故障排查

Redis集群节点之间通过 TCP 16379 端口进行集群总线通信,同时客户端连接使用 6379 端口。很多故障表面上是集群状态异常,实际根因是网络抖动或防火墙规则变更。在Ubuntu服务器上,可用 ufw status 查看防火墙是否放行 6379 和 16379 端口,同时用 ss -tunlp | grep redis 确认监听地址是否包含节点间通信所需的网卡IP。

当出现节点间频繁超时、日志中反复出现 “Node X is not connected” 时,应检查节点间延迟。使用 ping -c 100 节点IP 观察丢包率,若丢包率超过1%或平均延迟超过5ms,集群稳定性会明显下降。某案例中,三主三从集群部署在云主机上,因同可用区内部网络抖动导致主从切换频繁,最终通过更换实例规格和启用集群节点间 tcp-keepalive 参数解决。

此外,Ubuntu的 sysctl 参数 net.ipv4.tcp_retries2 默认值为15,在弱网环境下可能导致连接长时间处于半开状态。建议在 /etc/sysctl.conf 中调整 net.ipv4.tcp_keepalive_time=300、net.ipv4.tcp_keepalive_intvl=30、net.ipv4.tcp_keepalive_probes=5,并执行 sysctl -p 生效,以加快故障节点检测速度。

三、内存碎片与OOM导致的Redis节点异常

Redis集群节点内存使用过高或内存碎片率异常,是Ubuntu服务器运维中的常见问题。执行 redis-cli -p 端口 info memory 可查看 used_memory、used_memory_rss 和 mem_fragmentation_ratio。当 mem_fragmentation_ratio 持续大于1.5时,说明内存碎片严重,可能导致实际占用内存远超数据量,进而触发系统OOM killer。

某次生产故障中,一个主节点的 used_memory 仅3GB,但 used_memory_rss 达到7GB,最终被Ubuntu系统OOM killer强制终止。排查发现该节点频繁执行大键删除操作,且未启用 activedefrag。解决办法是在配置中设置 activedefrag yes,并将 active-defrag-threshold-lower 设为10,active-defrag-threshold-upper 设为100,同时避免在业务高峰期批量删除大键。

对于内存不足问题,除了扩容节点内存外,还应检查是否存在大键或过期键堆积。使用 redis-cli --bigkeys 扫描大键,结合 INFO keyspace 查看各库键数量。若过期键未及时回收,可适当调低 hz 参数或检查 lazyfree-lazy-expire 是否开启。Ubuntu下还需关注 overcommit_memory 设置,建议将其设为1,避免Redis在写入时因内存分配失败而崩溃。

四、主从切换异常与哨兵或集群自动故障转移排查

Redis集群模式本身具备自动故障转移能力,但在Ubuntu服务器运维中,主从切换异常往往与配置不一致或节点角色混乱有关。当主节点宕机后,集群应在 cluster-node-timeout 时间内完成从节点提升。若切换未发生,首先检查从节点是否设置了 cluster-replica-no-failover yes,该参数会阻止自动提升。

另一个常见原因是多个主节点同时不可用,导致集群无法达成多数派共识。例如三主三从集群中,若两个主节点同时故障,剩余一个主节点无法完成故障转移,整个集群进入 fail 状态。此时需要人工介入,先恢复至少两个主节点,再执行 redis-cli cluster failover force 强制切换。

排查主从切换问题还需检查节点日志 /var/log/redis/redis-server.log,搜索 “FAILOVER” 和 “PAUSE” 关键字。日志中若出现 “Not allowed to failover because I am not a replica” 或 “Cluster is down” 等信息,可快速定位原因。Ubuntu下若使用 systemd 管理Redis,可用 journalctl -u redis-server -f 实时跟踪日志输出。

五、槽位迁移失败与集群扩容缩容故障

在Redis集群运维中,槽位迁移是扩容和缩容的核心操作,但迁移过程中容易出现槽位卡死或节点负载过高。执行 redis-cli --cluster reshard 后,若迁移中断,部分槽位会处于 importing 或 migrating 状态,导致 cluster_state 变为 fail。此时需先检查目标节点和源节点的 cluster nodes 输出,确认哪些槽位未完成迁移。

某案例中,运维人员在业务高峰期执行在线扩容,迁移2000个槽位时因网络抖动中断,导致集群中约300个槽位处于不稳定状态。恢复步骤是先停止业务写入,然后使用 redis-cli --cluster fix 节点IP:端口 自动修复槽位归属,再重新执行 reshard 命令。修复完成后,用 cluster slots 命令确认所有槽位均已分配且无异常状态。

为避免迁移失败,建议在低峰期操作,并将迁移速度参数 --cluster-timeout 适当调大。同时,迁移前应备份各节点配置文件和 RDB 快照。Ubuntu下可使用 tar 命令打包 /var/lib/redis 目录,确保出现不可逆故障时能快速回滚。

六、配置不一致与集群状态漂移的预防

Redis集群节点配置不一致是导致故障的隐性因素。例如不同节点的 maxmemory 设置不同,可能导致部分节点提前淘汰数据;或 cluster-require-full-coverage 参数不一致,影响集群对槽位覆盖的判断。运维中应使用配置管理工具(如Ansible或SaltStack)统一分发 redis.conf,并在每次变更后执行 redis-cli config get 参数名 进行校验。

集群状态漂移还表现为节点角色与预期不符,例如从节点被误提升为主节点,或主节点被手动降级。为防止此类问题,建议在集群稳定后记录每个节点的 node-id 和角色,并定期比对。一旦发现角色变化,立即检查日志和操作审计记录,确认是否为人为误操作或自动故障转移。

Ubuntu服务器上可通过 systemd 的 EnvironmentFile 为Redis实例注入统一的环境变量,减少配置漂移。同时,将 redis.conf 纳入版本控制,每次修改都经过评审和灰度验证,能显著降低配置不一致引发的集群故障。

常见问题

Ubuntu上Redis集群节点一直显示disconnected怎么排查?
先检查节点间16379端口是否通,使用 nc -zv 对端IP 16379 测试;再查看防火墙规则和云安全组是否放行;最后观察节点日志中是否有握手失败或超时记录。

Redis集群槽位迁移中断后如何恢复?
执行 redis-cli --cluster fix 任意节点IP:端口 自动修复异常槽位,然后重新发起 reshard 操作。若修复失败,可手动使用 cluster setslot 命令清理 importing 和 migrating 状态。

Redis集群内存碎片率过高如何处理?
在配置中启用 activedefrag yes,并设置合理的碎片阈值;同时避免频繁大键删除,必要时在低峰期执行 MEMORY PURGE 或重启节点以回收内存。

Ubuntu系统OOM killer杀掉Redis进程后如何恢复?
先检查系统日志确认OOM原因,调整 overcommit_memory=1 和Redis maxmemory 限制;然后重启Redis节点,等待集群自动恢复或手动执行 cluster meet 重新加入集群。

Redis集群主从切换不生效是什么原因?
检查从节点是否配置 cluster-replica-no-failover yes;确认集群中多数主节点是否在线;查看节点日志中是否有 “FAILOVER” 相关错误信息。