redis集群部署方案，redis集群部署模式
chanong
|摘要：本文的目的是在单机上构建一个Redis集群，通过在不同的TCP端口上启动多个实例，形成一个集群，并记录构建过程中遇到的陷阱。安装准备centos 版本： 6.7 redis 版本： 3.2.3 安装方式： 源码安装服务器： 1 使用说明这里默�**沧暗ジ鰎edis 1. 启动多个Redis实例Redis安装在下面创建一个目录簇这六个配置文件将用于启动六个实例。稍后将使用这六个实例来形成集群。
本文的目的
要在单台计算机上构建Redis 集群，请通过不同的TCP 端口启动多个实例，形成集群，并记下构建过程中遇到的任何陷阱。
准备安装
Sentos版本：6.7
Redis版本：3.2.3
安装方式：源码安装
服务器：1
步
这里默�**沧傲艘惶≧edis。
1.启动多个Redis实例
在Redis安装目录下创建目录簇，写入7000.conf到7005.conf 6个配置文件。这六个配置文件用于启动六个实例。稍后将使用这六个实例来形成集群。
以7000.conf为例，配置文件必须包含以下条目：
每个启动6 个实例
启动成功后我们看一下流程
至此，机器上已经创建了6个实例，ip=192.168.186.91，端口号在port=7000到7005之间。
2.安装红宝石
1）yum安装Ruby和依赖包。
[root@itfirst redis_cluster]# yum -y install Ruby Ruby-devel Rubygems rpm-build
2）使用gem命令安装Redis接口
[root@itfirst redis_cluster]# gem install redis
ERROR: 安装redis:时出错
redis 需要Ruby 版本=2.2.2。
这一步出现了bug，度娘告诉我，我的Ruby版本太低，需要升级。
3）Ruby版本升级
安装RVM。我不知道这是什么，但感觉像是Ruby 的包管理器。
[root@itfirst redis_cluster]#curl -L get.rvm.io | bash -stead
% 总计% 已接收% Xferd 平均速度时间时间时间当前
Dload 上传剩余总使用率
100 24090 100 24090 0 0 10919 0 0:00:02 0:00:02 --:--:-- 91242
https://下载github.com/rvm/rvm/archive/1.29.3.tar.gz
https://下载github.com/rvm/rvm/releases/download/1.29.3/1.29.3.tar.gz.asc
签名由gpg: 在2017 年9 月11 日星期一04:59:21 CST 使用RSA 创建，密钥号BF04FF17。
gpg: 无法验证签名：缺少公钥
警告，RVM 1.26.0 引入了签名版本，并在发现GPG 软件时进行自动签名检查。假设您信任Michal Papis，请导入mpapis 公钥（下载签名）。
“/usr/local/rvm/archives/rvm-1.29.3.tgz”的GPG 签名验证- “https://github.com/rvm/rvm/releases/download/1.29.3/1.29.3.tar.gz.asc”失败'！尝试安装GPG v2，然后获取publickey:
gpg2 --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3
如果失败则返回：
命令curl -sSL https://rvm.io/mpapis.asc | gpg2 --import -
密钥可以和：对比
https://rvm.io/mpapis.asc
https://keybase.io/mpapis
注意： GPG 版本2.1.17 有一个错误，该错误会在从远程服务器检索密钥时导致错误。请降级或升级到较新的版本（如果有）或使用上述第二种方法。
此操作产生以下结果：
gpg2 recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3
然后使用此密钥下载并升级Ruby。
[root@itfirst redis_cluster]# gpg --keyserver hkp: //keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3
gpg: 从hkp服务器keys.gnupg.net下载密钥“D39DC0E3”
gpg: /root/.gnupg/trustdb.gpg：已建立信任数据库
gpg: 密钥D39DC0E3：已导入公钥“Michal Papis（RVM 签名）”
gpg: 未找到绝对可信的密钥
gpg: 进程总数：1
gpg: 导入：1 (RSA: 1)
[root@itfirst redis_cluster]#curl -sSL https://get.rvm.io | bash -s stable
https://下载github.com/rvm/rvm/archive/1.29.3.tar.gz
https://下载github.com/rvm/rvm/releases/download/1.29.3/1.29.3.tar.gz.asc
签名由gpg: 在2017 年9 月11 日星期一04:59:21 CST 使用RSA 创建，密钥号BF04FF17。
gpg: 来自“Michal Papis（RVM 签名）”的完整签名
gpg: 也称为“Michal Papis”
gpg: 又名“[大小为5015 的jpeg 图像]”
gpg: 警告：此密钥尚未经过可信签名的验证。
gpg: 没有证据表明此签名属于其声称的所有者。
主钥匙指纹：409B 6B17 96C2 7546 2A17 0311 3804 BB82 D39D C0E3
子密钥指纹：62C9 E5F4 DA30 0D94 AC36 166B E206 C29F BF04 FF17
GPG 验证了“/usr/local/rvm/archives/rvm-1.29.3.tgz”
创建组“rvm”
将RVM 安装到/usr/local/rvm/
/usr/local/rvm/中的RVM 安装即将完成：
* 首先，所有将使用rvm 的用户都必须添加到“rvm”组中。
然后注销- 再次登录，任何使用rvm 的人都将使用`umask u=rwx,g=rwx,o=rx` 进行操作。
* 要开始使用RVM，您需要运行“source /etc/profile.d/rvm.sh”。
打开所有shell 窗口后，在极少数情况下，您可能需要重新打开所有shell 窗口。
接下来，获取环境并使rvm 可用。
[root@itfirst ~]# 源/usr/local/rvm/scripts/rvm
显示可用的Ruby 版本
[root@itfirst ~]# 已知的RVM 列表
#MRI红宝石
[红宝石-]1.8.6[-p420]
[ruby-]1.8.7[-head] # Head 安全性已发布
[红宝石-]1.9.1[-p431]
[红宝石-]1.9.2[-p330]
[红宝石-]1.9.3[-p551]
[红宝石-]2.0.0[-p648]
[红宝石-]2.1[.10]
[红宝石-]2.2[.7]
[红宝石-]2.3[.4]
[红宝石-]2.4[.1]
红宝石头
# fork use: RVM install Ruby-head--url https://github.com/github/ruby.git --branch 2.2
#JRuby
jruby-1.6[.8]
jruby-1.7[.27]
jruby[-9.1.13.0]
朱比头
#鲁比尼乌斯
rbx-1[.4.3]
rbx-2.3[.0]
rbx-2.4[.1]
rbx-2[.5.8]
rbx-3[.84]
RBX头
蛋白石
蛋白石
# 最小Ruby 实现- ISO 30170:2012
mruby-1.0.0
mruby-1.1.0
mruby-1.2.0
姆鲁比-1[.3.0]
姆鲁比[-头]
# Ruby 企业版
李-1.8.6
李[-1.8.7][-2012.02]
黄玉
黄玉
#磁悬浮
直线电机车[-头]
磁悬浮-1.0.0
#Mac OS X Snow Leopard 或更高版本
麦克鲁比-0.10
麦克鲁比-0.11
麦克鲁比[-0.12]
麦克莱维·奈特利
麦克卢维角
#铁红宝石
铁红宝石[-1.1.3]
铁红宝石头
可以看到最新版本是2.4.1。本文安装2.3.0。
至此，Ruby版本已经升级完毕。
[root@itfirst ~]# RVM安装2.3.0
搜索二进制Ruby 可能非常耗时。
找到远程文件https://rvm_io.global.ssl.fastly.net/binaries/centos/6/x86_64/ruby-2.3.0.tar.bz2
检查Centos 要求。
Centos 安装要求。
安装所需的软件包： autoconf、automake、bison、libffi-devel、libtool、readline-devel、sqlite-devel、libyaml-devel.
要求安装成功。
Ruby-2.3.0 - #configure
Ruby-2.3.0-#download
% 总计% 已接收% Xferd 平均速度时间时间时间当前
Dload 上传剩余总使用率
100 21.9M 100 21.9M 0 0 266k 0 0:01:24 0:01:24 --:--:-- 278k
下载的档案没有校验和。在用户设置中记录校验和。
Ruby-2.3.0 - #validate 存档
Ruby-2.3.0 - #extract
Ruby-2.3.0 - #验证二进制文件
Ruby-2.3.0-#setup
Ruby-2.3.0 - #gemset 创建了/usr/local/rvm/gems/ruby-2.3.0@global
Ruby-2.3.0 - #导入gemset /usr/local/rvm/gemsets/global.gems....
Ruby-2.3.0 - #生成全局包装器.
Ruby-2.3.0 - #gemset 创建了/usr/local/rvm/gems/ruby-2.3.0
Ruby-2.3.0 - #importing gemsetfile /usr/local/rvm/gemsets/default.gems 评估为空gem 列表
Ruby-2.3.0 - #生成默�**捌�.
4）安装gem redis接口
[root@itfirst ~]# RVM使用2.3.0
使用/usr/local/rvm/gems/ruby-2.3.0
[root@itfirst ~]# RVM 删除1.8.7
Ruby-1.8.7-head - #已经消失
使用/usr/local/rvm/gems/ruby-2.3.0
[root@itfirst ~]# Ruby --version
Ruby 2.3.0p0（2015-12-25 修订版53290）[x86_64-linux]
[root@itfirst ~]# gem install redis
正在获取： redis-4.0.1.gem (100%)
redis-4.0.1安装成功
解析redis-4.0.1文档
安装redis-4.0.1的ri文档
0秒后Redis文档安装完成
安装了1 个宝石
5）安装Rubygems
# yum install -y Rubygems
至此，Ruby运行所需的环境和redis-trib.rb已经安装完毕。
3.Redis集群搭建
一旦您拥有了Ruby 执行环境，您就可以开始使用前面的六个实例来构建集群。
redis-trib.rb 创建--replicas 1 192.168.186.91:7000 192.168.186.91:7001 192.168.186.91:7002 192.168.186.91:7003 192.168.186 .91:7004 192.168.186.91:7005
有3个主人和3个奴隶。请遵循以下六个示例。格式为ip: 端口。
【这里有一个洞】
第一个坑
[root@itfirst src]# redis-trib.rb create --replicas 1 192.168.186.91:7000 192.168.186.91:7001 192.168.186.91:7002 192.168.186.91:7003 1 92.168.186.91:7004 192.168.186.91:7005
-bash: redis-trib.rb: 命令未找到
[root@itfirst src]# cp redis-trib.rb /usr/local/bin
需要将redis-trib.rb复制到/usr/local/bin目录下。
第二个坑
[root@itfirst bin]# redis-trib.rb create --replicas 1 192.168.186.91:7000 192.168.186.91:7001 192.168.186.91:7002 192.168.186.91:7003 192 .168.186.91:7004 192.168.186.91:7005
创建集群
[ERR] 节点192.168.186.91:7000 不为空。该节点可能已经了解其他节点（使用CLUSTERNODES 检查），或者数据库0 包含某些密钥。
跑完第一个洞，继续跑，发现了第二个洞，幸好度娘在，但网上有不同的说法（主要是博客《极客on之路》）。表示Redis数据库尚未清除。
[root@itfirst src]# redis-cli -h 192.168.186.91 -p 7001
192.168.186.91:7001闪存数据库
知道了
192.168.186.91:7001 停止它。
[root@itfirst src]# redis-cli -h 192.168.186.91 -p 7002
192.168.186.91:7002 闪存数据库
知道了
192.168.186.91:7002 停止吧。
[root@itfirst src]# redis-cli -h 192.168.186.91 -p 7003
192.168.186.91:7003 Flash数据库
知道了
192.168.186.91:7003 停止吧。
[root@itfirst src]# redis-cli -h 192.168.186.91 -p 7004
192.168.186.91:7004闪存数据库
知道了
192.168.186.91:7004 停止吧。
[root@itfirst src]# redis-cli -h 192.168.186.91 -p 7005
192.168.186.91:7005闪存数据库
知道了
192.168.186.91:7005 停止吧。
[root@itfirst src]# redis-trib.rb create --replicas 1 192.168.186.91:7000 192.168.186.91:7001 192.168.186.91:7002 192.168.186.91:7003 1 92.168.186.91:7004 192.168.186.91:7005
创建集群
在6 个节点上执行哈希槽分配.
三主用：
192.168.186.91:7000
192.168.186.91:7001
192.168.186.91:7002
将副本192.168.186.91:7003 添加到192.168.186.91:7000
将副本192.168.186.91:7004 添加到192.168.186.91:7001
将副本192.168.186.91:7005 添加到192.168.186.91:7002
M: 61b2b608177374fd0382c872f996a2c25f62daac 192.168.186.91:7000
插槽：0-5460,9189（5462个插槽）主控
M: 50e678c98c31baa4ece1cba096cc34b4545456f3 192.168.186.91:7001
插槽：5461-10922（5462个插槽）主
M: b8dc855a92d1c9a6e358380286a757011c40601d 192.168.186.91:7002
插槽：9189、10923-16383（5462 个插槽） 主站
S: 42392d8b4665500b3229b5c5b9dcebed311c9cdf 192.168.186.91:7003
克隆61b2b608177374fd0382c872f996a2c25f62daac
S: 4e8cd9bae1dc0ffa63a3b8315e3f92b0490e65f8 192.168.186.91:7004
克隆50e678c98c31baa4ece1cba096cc34b4545456f3
S: 3344981c3290c39b0d9f427842398c17de835293 192.168.186.91:7005
重复b8dc855a92d1c9a6e358380286a757011c40601d
我可以设置以上配置吗？（请输入yes接受）: 是
/usr/local/rvm/gems/ruby-2.3.0/gems/redis-4.0.1/lib/redis/client.rb:119:in `call': ERR 插槽9189 已忙（Redis:CommandError）
来自/usr/local/rvm/gems/ruby-2.3.0/gems/redis-4.0.1/lib/redis.rb:2764: 中的“阻塞方法_缺失”
/usr/local/rvm/gems/ruby-2.3.0/gems/redis-4.0.1/lib/redis.rb:45:in 来自“同步块”
来自/usr/local/rvm/rubies/ruby-2.3.0/lib/ruby/2.3.0/monitor.rb:214: 中的`mon_synchronize'
/usr/local/rvm/gems/ruby-2.3.0/gems/redis-4.0.1/lib/redis.rb:45:in 来自“同步”
来自/usr/local/rvm/gems/ruby-2.3.0/gems/redis-4.0.1/lib/redis.rb:2763: 中的`method_missing'
来自/usr/local/bin/redis-trib.rb:212: 中的`flush_node_config'
来自/usr/local/bi
n/redis-trib.rb:776:in `block in flush_nodes_config' from /usr/local/bin/redis-trib.rb:775:in `each' from /usr/local/bin/redis-trib.rb:775:in `flush_nodes_config' from /usr/local/bin/redis-trib.rb:1296:in `create_cluster_cmd' from /usr/local/bin/redis-trib.rb:1696:in `' 第三坑 [root@itfirst src]# redis-trib.rb create --replicas 1 192.168.186.91:7000 192.168.186.91:7001 192.168.186.91:7002 192.168.186.91:7003 192.168.186.91:7004 192.168.186.91:7005 >>> Creating cluster >>> Performing hash slots allocation on 6 nodes... Using 3 masters: 192.168.186.91:7000 192.168.186.91:7001 192.168.186.91:7002 Adding replica 192.168.186.91:7003 to 192.168.186.91:7000 Adding replica 192.168.186.91:7004 to 192.168.186.91:7001 Adding replica 192.168.186.91:7005 to 192.168.186.91:7002 M: 61b2b608177374fd0382c872f996a2c25f62daac 192.168.186.91:7000 slots:0-5460,9189 (5462 slots) master M: 50e678c98c31baa4ece1cba096cc34b4545456f3 192.168.186.91:7001 slots:5461-10922 (5462 slots) master M: b8dc855a92d1c9a6e358380286a757011c40601d 192.168.186.91:7002 slots:9189,10923-16383 (5462 slots) master S: 42392d8b4665500b3229b5c5b9dcebed311c9cdf 192.168.186.91:7003 replicates 61b2b608177374fd0382c872f996a2c25f62daac S: 4e8cd9bae1dc0ffa63a3b8315e3f92b0490e65f8 192.168.186.91:7004 replicates 50e678c98c31baa4ece1cba096cc34b4545456f3 S: 3344981c3290c39b0d9f427842398c17de835293 192.168.186.91:7005 replicates b8dc855a92d1c9a6e358380286a757011c40601d Can I set the above configuration (type 'yes' to accept): yes /usr/local/rvm/gems/ruby-2.3.0/gems/redis-4.0.1/lib/redis/client.rb:119:in `call': ERR Slot 9189 is already busy (Redis::CommandError) from /usr/local/rvm/gems/ruby-2.3.0/gems/redis-4.0.1/lib/redis.rb:2764:in `block in method_missing' from /usr/local/rvm/gems/ruby-2.3.0/gems/redis-4.0.1/lib/redis.rb:45:in `block in synchronize' from /usr/local/rvm/rubies/ruby-2.3.0/lib/ruby/2.3.0/monitor.rb:214:in `mon_synchronize' from /usr/local/rvm/gems/ruby-2.3.0/gems/redis-4.0.1/lib/redis.rb:45:in `synchronize' from /usr/local/rvm/gems/ruby-2.3.0/gems/redis-4.0.1/lib/redis.rb:2763:in `method_missing' from /usr/local/bin/redis-trib.rb:212:in `flush_node_config' from /usr/local/bin/redis-trib.rb:776:in `block in flush_nodes_config' from /usr/local/bin/redis-trib.rb:775:in `each' from /usr/local/bin/redis-trib.rb:775:in `flush_nodes_config' from /usr/local/bin/redis-trib.rb:1296:in `create_cluster_cmd' from /usr/local/bin/redis-trib.rb:1696:in `' 还是度娘靠谱，在《redis 跨机器集群启动出错》博客中找到了答案。 这是由于之间创建集群没有成功,需要将nodes.conf和dir里面的文件全部删除。 [root@itfirst 7000]# find / -name \"nodes-7000.conf\" /usr/local/redis-3.2.3/src/nodes-7000.conf [root@itfirst 7000]# cd ../../ [root@itfirst src]# rm -rf nodes-700* 然后重启redis服务。 [root@itfirst src]# redis-trib.rb create --replicas 1 192.168.186.91:7000 192.168.186.91:7001 192.168.186.91:7002 192.168.186.91:7003 192.168.186.91:7004 192.168.186.91:7005 >>> Creating cluster >>> Performing hash slots allocation on 6 nodes... Using 3 masters: 192.168.186.91:7000 192.168.186.91:7001 192.168.186.91:7002 Adding replica 192.168.186.91:7003 to 192.168.186.91:7000 Adding replica 192.168.186.91:7004 to 192.168.186.91:7001 Adding replica 192.168.186.91:7005 to 192.168.186.91:7002 M: 319da27d8668a15d2d2d02afe433247694343459 192.168.186.91:7000 slots:0-5460 (5461 slots) master M: 3da756265e301ac0210760f13e990473f87a3017 192.168.186.91:7001 slots:5461-10922 (5462 slots) master M: 6f336da48c892d8e0c541a864765978ebfbca6d5 192.168.186.91:7002 slots:10923-16383 (5461 slots) master S: ff4cf9d8a141d85c478b9af0358c93bca342c236 192.168.186.91:7003 replicates 319da27d8668a15d2d2d02afe433247694343459 S: 43c2e0d7799e84b449803a68d557c3431e9e047e 192.168.186.91:7004 replicates 3da756265e301ac0210760f13e990473f87a3017 S: 3f174fae106cb6cf7e7f21ed844895ed7c18f793 192.168.186.91:7005 replicates 6f336da48c892d8e0c541a864765978ebfbca6d5 Can I set the above configuration (type 'yes' to accept): yes >>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join.... >>> Performing Cluster Check (using node 192.168.186.91:7000) M: 319da27d8668a15d2d2d02afe433247694343459 192.168.186.91:7000 slots:0-5460 (5461 slots) master M: 3da756265e301ac0210760f13e990473f87a3017 192.168.186.91:7001 slots:5461-10922 (5462 slots) master M: 6f336da48c892d8e0c541a864765978ebfbca6d5 192.168.186.91:7002 slots:10923-16383 (5461 slots) master M: ff4cf9d8a141d85c478b9af0358c93bca342c236 192.168.186.91:7003 slots: (0 slots) master replicates 319da27d8668a15d2d2d02afe433247694343459 M: 43c2e0d7799e84b449803a68d557c3431e9e047e 192.168.186.91:7004 slots: (0 slots) master replicates 3da756265e301ac0210760f13e990473f87a3017 M: 3f174fae106cb6cf7e7f21ed844895ed7c18f793 192.168.186.91:7005 slots: (0 slots) master replicates 6f336da48c892d8e0c541a864765978ebfbca6d5 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered. 4、验证集群状态 登录集群客户端，-c标识以集群方式登录 [root@itfirst src]# redis-cli -h 192.168.186.91 -c -p 7002 查看集群状态 192.168.186.91:7002> cluster info cluster_state:ok cluster_slots_assigned:16384 cluster_slots_ok:16384 cluster_slots_pfail:0 cluster_slots_fail:0 cluster_known_nodes:6 cluster_size:3 cluster_current_epoch:6 cluster_my_epoch:3 cluster_stats_messages_sent:124174 cluster_stats_messages_received:124174 192.168.186.91:7002> cluster nodes 319da27d8668a15d2d2d02afe433247694343459 192.168.186.91:7000 master - 0 1519465974307 1 connected 0-5460 3f174fae106cb6cf7e7f21ed844895ed7c18f793 192.168.186.91:7005 slave6f336da48c892d8e0c541a864765978ebfbca6d5 0 1519465971278 6 connected 6f336da48c892d8e0c541a864765978ebfbca6d5 192.168.186.91:7002 myself,master - 0 0 3 connected 10923-16383 3da756265e301ac0210760f13e990473f87a3017 192.168.186.91:7001 master - 0 1519465972288 2 connected 5461-10922 43c2e0d7799e84b449803a68d557c3431e9e047e 192.168.186.91:7004 slave3da756265e301ac0210760f13e990473f87a3017 0 1519465973298 5 connected ff4cf9d8a141d85c478b9af0358c93bca342c236 192.168.186.91:7003 slave319da27d8668a15d2d2d02afe433247694343459 0 1519465969258 4 connected