【Docker】使用docker搭建redis-cluster环境【实测成功】

临时接到一个测试任务,而测试需要用到redis-cluster环境,却没有现成的环境可用,于是只能自力更生搭建测试环境。一开始想采用在宿主机上硬搭,但苦于没有那么多的服务器,于是决定试试docker。以下为详细搭建步骤:

基础环境信息

基础环境如下所示:

CentOS Linux release 7.5.1804
Docker version 18.09.4

搭建步骤

  • 1、下载redis镜像

1docker pull redis 2

如果需要拉取指定版本,需要在redis后面添加版本号,如果不指定则拉取最新版本镜像,可以使用docker search redis来搜索镜像

查看本地镜像,可以使用命令docker images

  • 2、创建虚拟网卡

创建虚拟网卡,主要是用于redis-cluster能于外界进行网络通信,一般常用桥接模式。

1docker network create redis-net 2

查看docker的网卡信息,可使用命令docker network ls

查看dockerr网络详细信息,可使用命令docker network inspect redis-net

  • 3、创建redis配置文件模板

1mkdir -p /home/redis-cluster 2cd /home/redis-cluster 3vim redis-cluster.tmpl 4

在redis-cluster.tmpl中输入以下内容

1port ${PORT} 2cluster-enabled yes 3cluster-config-file nodes.conf 4cluster-node-timeout 5000 5cluster-announce-ip 192.168.168.131 6cluster-announce-port ${PORT} 7cluster-announce-bus-port 1${PORT} 8appendonly yes 9 10

各节点解释如下所示:

  • port:节点端口,即对外提供通信的端口
  • cluster-enabled:是否启用集群
  • cluster-config-file:集群配置文件
  • cluster-node-timeout:连接超时时间
  • cluster-announce-ip:集群各节点IP地址
  • cluster-announce-port:集群节点映射端口
  • cluster-announce-bus-port:集群总线端口
  • appendonly:持久化模式

cluster-announce-ip:这个IP需要特别注意一下,如果要对外提供访问功能,需要填写宿主机的IP,如果填写docker分配的IP(172.x.x.x),可能会导致部分集群节点在跳转时失败。

  • 4、创建节点配置文件

在redis-cluser中执行以下命令

1for port in $(seq 8010 8015); \ 2do \ 3 mkdir -p ./${port}/conf \ 4 && PORT=${port} envsubst < ./redis-cluster.tmpl > ./${port}/conf/redis.conf \ 5 && mkdir -p ./${port}/data; \ 6done 7 8

验证上述命令执行的结果是否正确

  • 5、创建redis节点容器

执行以下命令即可

1for port in $(seq 8010 8015); \ 2do \ 3 docker run -it -d -p ${port}:${port} -p 1${port}:1${port} \ 4 --privileged=true -v /home/redis-cluster/${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf \ 5 --privileged=true -v /home/redis-cluster/${port}/data:/data \ 6 --restart always --name redis-${port} --net redis-net \ 7 --sysctl net.core.somaxconn=1024 redis redis-server /usr/local/etc/redis/redis.conf; \ 8done 9 10

验证容器是否创建成功

查看docker给每个节点分配的IP信息

  • 6、创建redis-cluster集群

进入一个容器节点

1docker exec -it redis-8010 bash 2

在进入容器后,执行以下命令:

1cd /usr/local/bin/ 2 3redis-cli --cluster create 192.168.168.131:8010 192.168.168.131:8011 192.168.168.131:8012 192.168.168.131:8013 192.168.168.131:8014 192.168.168.131:8015 4 5

出现选择提示信息,输入yes,结果如下所示:

  • 7、连接redis-cluster,并添加数据到redis

在节点8010中输入以下命令

1redis-cli -c -h 192.168.168.131 -p 8010 2

  • 8、验证集群是否可以任意地方访问

以下验证是基于Windows版本的redis。其下载地址如下:

https://github.com/microsoftarchive/redis/releases

在Windows中验证的结果如下所示:

搭建中遇到的问题

  • 1、所有都搭建完成后,在创建redis-cluster时一直报错

Could not connect to Redis at 192.168.168.131:8010: No route to host

这个原因是因为宿主机的防火墙未关,导致相应的端口被阻止,创建的时候临时关闭防火墙,后面再允许相应的端口即可。

  • 2、在成功创建完redis-cluster后,可以成功连接,但在获取值时,一直处于跳转中,导致最终出现TTL exhaust

-> Redirected to slot [15495] located at 172.18.0.7:8015

这种情况通常是因为在前面写配置文件,将cluster-announce-ip写成了docker分配的IP,只需要将该IP换为宿主机的IP即可。

其他参考

在搭建过程,可能在出现问题后,需要停止或直接删除docker容器,可以使用以下参考命令

批量停止docker 容器:

1docker ps -a | grep -i "redis-801*" | awk '{print $1}' | xargs docker stop 2

批量删除docker 容器:

1docker ps -a | grep -i "redis-801*" | awk '{print $1}' | xargs docker rm -f 2

批量删除文件

1rm -rf 801{0..5}/conf/redis.conf 2

以上就是基于docker搭建redis-cluster的简单步骤,实际应用中可能并没有这么简单,该文也仅用于参考。

 

代码交流 2021