【缓存与加速技术实践】Redis 主从复制

Redis 主从复制

主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。
缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。

首次同步（全量复制）

1. 发送SYNC命令：
   • 当从节点（Slave）决定成为某个主节点（Master）的从节点时，它会向主节点发送一个 SYNC 命令。
2. BGSAVE生成RDB快照：
   • 主节点接收到 SYNC 命令后，会执行 BGSAVE 命令。BGSAVE 命令会在后台生成一个 RDB 快照文件，同时主节点继续处理其他命令。
   • 在生成 RDB 快照的过程中，主节点会将所有新的写操作记录到一个缓冲区中。
3. 快照文件传输：
   • 一旦 RDB 快照文件生成完毕，主节点会将这个快照文件发送给从节点。
   • 在发送快照文件的过程中，主节点会继续接收并处理新的命令，这些命令会被记录到缓冲区中。
4. 加载快照文件：
   • 从节点接收到 RDB 快照文件后，会加载这个文件，将其内容应用到自己的数据集中。
5. 追赶复制：
   • 加载完快照文件后，从节点会向主节点发送一个 PSYNC 命令，请求获取主节点缓冲区中未发送的写操作。
   • 主节点收到 PSYNC 命令后，会将缓冲区中的写操作发送给从节点。

增量复制

1. 命令传播：
   • 在完成首次同步后，从节点会进入命令传播阶段。在这个阶段，主节点会将其接收到的所有写操作（例如，SET、DEL等）实时地发送给从节点。
   • 从节点会执行这些写操作，以保持与主节点的数据一致性。
2. 心跳检测：
   • 在命令传播阶段，主从节点之间会定期发送心跳包（通常是PING和PONG命令）来检测连接状态。
   • 如果从节点在一定时间内没有收到主节点的心跳包或命令，它会认为连接已经断开，并尝试重新与主节点建立连接。
3. 重新同步：
   • 如果从节点与主节点之间的连接断开，或者从节点的数据与主节点不一致（例如，由于网络分区或磁盘故障），从节点会尝试重新与主节点进行同步。
   • 在重新同步的过程中，从节点会发送一个 PSYNC 命令给主节点，请求获取最新的数据。
   • 主节点会根据从节点提供的复制偏移量（replication offset）来决定是进行全量复制还是部分复制（增量复制）。

注意

• 复制偏移量：
  • 主从节点在复制过程中会维护一个复制偏移量，用于记录已经复制的数据位置。
  • 复制偏移量有助于从节点在重新同步时确定需要从主节点获取哪些数据。
• 从节点只读：
  • 默认情况下，从节点是只读的。这意味着你不能在从节点上执行写操作（例如，SET命令）。
  • 如果需要在从节点上执行写操作，可以将其配置为可写模式（但通常不推荐这样做，因为这可能会破坏数据一致性）。
• 延迟问题：
  • 由于网络延迟和命令传播时间的影响，从节点的数据可能会比主节点稍微落后一些。
  • 在某些情况下（例如，写操作非常频繁时），这种延迟可能会变得比较明显。
• 故障切换：
  • 当主节点出现故障时，需要手动或自动地将一个从节点提升为主节点（例如，使用哨兵或集群机制）。
  • 在提升从节点为主节点之前，需要确保该从节点的数据与主节点一致（或者尽可能一致）。

搭建Redis主从复制

环境准备：

• Master节点：192.168.80.10
• Slave1节点：192.168.80.11
• Slave2节点：192.168.80.12

安装Redis

环境准备：

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

修改内核参数：

vim /etc/sysctl.conf
# 添加以下内容
vm.overcommit_memory = 1
net.core.somaxconn = 2048
sysctl -p

安装Redis：

yum install -y gcc gcc-c++ make
tar zxvf /opt/redis-7.0.9.tar.gz -C /opt/
cd /opt/redis-7.0.9
make
make PREFIX=/usr/local/redis install

创建Redis工作目录并设置用户：

mkdir /usr/local/redis/{conf,log,data}
cp /opt/redis-7.0.9/redis.conf /usr/local/redis/conf/
useradd -M -s /sbin/nologin redis
chown -R redis.redis /usr/local/redis/

设置环境变量：

vim /etc/profile
# 添加以下内容
PATH=$PATH:/usr/local/redis/bin
source /etc/profile

定义systemd服务管理脚本：

vim /usr/lib/systemd/system/redis-server.service
# 添加以下内容
[Unit]
Description=Redis Server
After=network.target

[Service]
User=redis
Group=redis
Type=forking
TimeoutSec=0
PIDFile=/usr/local/redis/log/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true

[Install]
WantedBy=multi-user.target

修改Redis配置文件

Master节点配置：

vim /usr/local/redis/conf/redis.conf
# 修改以下内容
bind 0.0.0.0
protected-mode no
port 6379
daemonize yes
pidfile /usr/local/redis/log/redis_6379.pid
logfile "/usr/local/redis/log/redis_6379.log"
dir /usr/local/redis/data
appendonly yes
# requirepass abc123 # 可选，设置redis密码

systemctl restart redis-server.service

Slave节点配置：

vim /usr/local/redis/conf/redis.conf
# 修改以下内容
bind 0.0.0.0
protected-mode no
port 6379
daemonize yes
pidfile /usr/local/redis/log/redis_6379.pid
logfile "/usr/local/redis/log/redis_6379.log"
dir /usr/local/redis/data
appendonly yes
replicaof 192.168.80.10 6379
# masterauth abc123 # 可选，设置Master节点的密码，仅在Master节点设置了requirepass

systemctl restart redis-server.service

验证主从效果

在Master节点上看日志：

tail -f /usr/local/redis/log/redis_6379.log 
# 应显示类似以下内容
Replica 192.168.80.11:6379 asks for synchronization
Replica 192.168.80.12:6379 asks for synchronization
Synchronization with replica 192.168.80.11:6379 succeeded
Synchronization with replica 192.168.80.12:6379 succeeded

在Master节点上验证从节点：

redis-cli info replication
# 应显示类似以下内容
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.80.11,port=6379,state=online,offset=1246,lag=0
slave1:ip=192.168.80.12,port=6379,state=online,offset=1246,lag=1