当前位置:首页 > 服务端 > Zookeeper

Zookeeper

2022年09月17日 17:58:03服务端6

Zookeeper

Zookeeper 是一个开源的分布式的,为分布式框架提供协调服务的 Apache 项目

Linux配置Zookeeper集群


官网下载地址:https://archive.apache.org/dist/zookeeper/

安装Zookeeper需要提前安装JDK


JDK配置教程

https://blog.csdn.net/qq_47200222/article/details/123547732?spm=1001.2014.3001.5502

使用Xftp把安装压缩包放入虚拟机,然后解压


tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

修改配置文件


配置zookeeper/conf路径下的zoo.cfg,修改zoo_sample.cfg->zoo.cfg

创建dataDir文件夹,在zoo.cfg配置dataDir路径,并创建集群参数

配置参数模板server.A=B:C:D

A 是一个数字,表示这个是第几号服务器。集群模式下配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面有一个数据 就是 A 的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比 较从而判断到底是哪个 server

B 是这个服务器的地址

C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口

D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口

Zookeeper _ JavaClub全栈架构师技术笔记

zoo.cfg相关参数详解

  • tickTime = 2000:通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒
  • initLimit = 10:LF初始通信时限,Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量)
  • syncLimit = 5:LF同步通信时限,Leader和Follower之间通信时间如果超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer
  • dataDir:保存Zookeeper中的数据,默认是tmp目录,容易被Linux系统定期删除,所以一般不用默认的tmp目录
  • clientPort = 2181:客户端连接端口,通常不做修改。

配置服务器编号


在zoo.cfg的dataDir指定的目录中配置myid文件,上下不要有空行,左右不要有空格,在集群机器中分别配置,myid必须全局唯一

vim myid
# 添加与 server 对应的编号
2

操作zookeeper


启动

bin/zkServer.sh start

Zookeeper _ JavaClub全栈架构师技术笔记

查看进程是否启动

jps -l

Zookeeper _ JavaClub全栈架构师技术笔记

查看状态

bin/zkServer.sh status

Zookeeper _ JavaClub全栈架构师技术笔记

启动客户端

bin/zkCli.sh

Zookeeper _ JavaClub全栈架构师技术笔记

停止zookeeper

bin/zkServer.sh stop

Zookeeper _ JavaClub全栈架构师技术笔记

创建集群操作脚本


在家目录的bin文件夹下创建脚本

Zookeeper _ JavaClub全栈架构师技术笔记

#!/bin/bash
case $1 in
"start"){
     
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 启动 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
done
};;
"stop"){
     
for i in hadoop102 hadoop103 hadoop104
do
 echo ---------- zookeeper $i 停止 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
done
};;
"status"){
     
for i in hadoop102 hadoop103 hadoop104
do
echo ---------- zookeeper $i 状态 ------------ 
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
done
};;
esac

增加脚本执行权限

chmod 777 zk.sh

Zookeeper _ JavaClub全栈架构师技术笔记

Zookeeper客户端命令行操作


常用命令

命令基本语法 功能描述
help 显示所有操作命令
ls path -w 监听子节点变化 -s 附加次级信息
create -s 含有序序列 -e 临时(重启或者超时消失)
get path -w 监听节点内容变化 -s 附加次级信息
set 设置节点的具体值
stat 查看节点状态
delete 删除节点
deleteall 递归删除节点

查看当前znode中所包含的内容

ls /

查看当前节点详细数据

ls -s /

Zookeeper _ JavaClub全栈架构师技术笔记

  • czxid:创建节点的事务 zxid

    每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid,如果 zxid1 小于 zxid2,那么 zxid1 在 zxid2 之前发生。

  • ctime:znode 被创建的毫秒数(从 1970 年开始)

  • mzxid:znode 最后更新的事务 zxid

  • mtime:znode 最后修改的毫秒数(从 1970 年开始)

  • pZxid:znode 最后更新的子节点 zxid

  • cversion:znode 子节点变化号,znode 子节点修改次数

  • dataversion:znode 数据变化号

  • aclVersion:znode 访问控制列表的变化号

  • ephemeralOwner:如果是临时节点,这个是 znode 拥有者的 session id。如果不是临时节点则是 0。

  • dataLength:znode 的数据长度

  • numChildren:znode 子节点数量

节点类型


持久:客户端和服务器端断开连接后,创建的节点不删除

  • 持久化目录节点: 客户端与Zookeeper断开连接后,该节点依旧存在
  • 持久化顺序编号目录节点: 客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称依旧顺序编号

短暂:客户端和服务器端断开连接后,创建的节点自己删除

  • 临时目录节点: 客户端与Zookeeper断开连接后,该节点被删除
  • 临时顺序编号目录节点: 客户端与 Zookeeper 断开连接后 , 该节点被删除,只是Zookeeper给该节点名称依旧顺序编号

创建znode时设置顺序标识,znode名称后会附加一个值,顺序号是一个单调递增的计数器由父节点维护,在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序

获取节点的值

get -s /sanguo

创建默认节点(永久节点+不带序号)

create /sanguo "diaochan"
create /sanguo/shuguo "liubei"

创建带序号的节点(永久节点+带序号)

create -s /sanguo/weiguo/zhangliao "zhangliao"
create -s /sanguo/weiguo/zhangliao "zhangliao"
create -s /sanguo/weiguo/zhangliao "zhangliao"

如果原来没有序号节点,序号从 0 开始依次递增。如果原节点下已有 2 个节点,则再排序时从2开始,以此类推

Zookeeper _ JavaClub全栈架构师技术笔记

创建短暂节点(短暂节点+不带序号)

create -e /sanguo/wuguo "zhouyu"

创建短暂节点(短暂节点+带序号)

create -e -s /sanguo/wuguo "zhouyu"

修改节点数据值

set /sanguo/weiguo "simayi"

监听节点值变化


监听节点数据

get -w /sanguo

修改节点数据

set /sanguo "xisi"

多次修改监听节点数据,注册一次只能监听一次,想再次监听需要再次注册
Zookeeper _ JavaClub全栈架构师技术笔记

节点删除与查看


删除节点

delete /sanguo/jin
1

递归删除接地点

deleteall /sanguo/shuguo
1

查看节点状态

stat /sanguo

Zookeeper客户端API操作


前提:保证 hadoop102、hadoop103、hadoop104 服务器上 Zookeeper 集群服务端启动。

引入依赖


<dependencies>
    <dependency>
        <groupId>org.apache.zookeeper</groupId>
        <artifactId>zookeeper</artifactId>
        <version>3.5.7</version>
    </dependency>
<dependencies>

创建ZooKeeper客户端


public class zkClient {
     

    //注意:逗号左右不能有空格
    private String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181";
    private int sessionTimeout = 2000;

    private ZooKeeper zkClient;

    @Before
    public void init() throws IOException {
     

        zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
     
            @Override
            public void process(WatchedEvent watchedEvent) {
     

            }
        });
    }
}

创建子节点


@Test
    public void creat() throws InterruptedException, KeeperException {
     
        String nodeCreat = zkClient.create("/jtl", "zs.avi".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }

获取子节点并监听节点变化


@Test
    public void getChildren() throws InterruptedException, KeeperException {
     
        List<String> children = zkClient.getChildren("/", true);
        for (String child : children) {
     
            System.out.println(child);
        }
        //延时
        Thread.sleep(Long.MAX_VALUE);
    }

判断Znode是否存在


@Test
    public void exist() throws InterruptedException, KeeperException {
     
        Stat stat = zkClient.exists("/jtl", false);
        System.out.println(stat == null ? "not exist" : "exist");
    }

企业面试真题(面试重点)


选举机制


半数机制,超过半数的投票通过,即通过

  • 第一次启动选举规则:

    投票过半数时,服务器id大的胜

  • 第二次启动选举规则:

    1. EPOCH大的直接胜出
    2. EPOCH相同,事务id大的胜出
    3. 事务id相同,服务器id大的胜出

生产集群安装多少zk合适


安装奇数台。

生产经验:

  • 10台服务器: 3台
  • 20台服务器:5台
  • 100台服务器: 11台
  • 200台服务器: 11台

服务器台数多: 好处,提高可靠性;坏处:提高通信延时

常用命令


ls、get、create、delete

作者:J.T.L
来源链接:https://blog.csdn.net/qq_47200222/article/details/123697171

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/42637.html

标签: ZooKeeper
分享给朋友:

“Zookeeper” 的相关文章

小白入门指南|zookeeper快速入门

zookeeper入门 概述 开源的、分布式的,为分布式应用提供的apache项目 工作机制 zookeeper从设计模式的角度来理解:是一个基于观察者模式设计的分布式服务管理框架,他负责管理存储和管理...

SpringBoot 整合zookeeper

文章目录 SpringBoot 整合zookeeper 1 ZkClient 1.1 相关依赖 1.2 Zookeeper...

【SpringBoot】最通俗易懂的分布式学习(一)SpringBoot整合dubbo、zookeeper

【SpringBoot】最通俗易懂的分布式学习(一)SpringBoot整合dubbo、zookeeper

注:本文章基于尚硅谷Springboot高级特性相关视频及资料进行编写,代码简单,较容易理解,若有问题或者源码资料获取可以在评论区留言或者联系作者! 文章目录 导引 一、doke...

kafka和zookeeper的最详细安装步骤和介绍

kafka和zookeeper的最详细安装步骤和介绍

kafka和zookeeper的详细安装步骤和介绍 1、异步通信 1.1. 观察者模式 观察者模式,又叫发布-订阅模式 定义对象间一种一对多的依赖关系,使得每当一个对象改变状态,则所有依赖于它的对象都会得到通知并自动更新。 一个对象(目标对象)的状态...

kafka连接zookeeper配置搭建环境、安装和启动,Windows环境下

kafka连接zookeeper配置搭建环境、安装和启动,Windows环境下

kafka,分布式集群架构下,高性能的流式事件数据(主要是消息)集成、发布(生产)和订阅(分发、消费)组件(中间件)。 kafka依赖zooeeper(数据后端),这里有Windows下安装配置启动zookeeper的 文章(1): Windows 10环境zooke...

windows+zookeeper+kafka安装配置及测试

windows+zookeeper+kafka安装配置及测试

文章目录 环境准备 安装zookeeper 安装kafka kafka之Topic kafka之Producer kafka之Consumer...

Docker安装Zookeeper和Kafka、Docker Compose 编排、Docker Portainer 容器

1、Docker 安装 ①安装必要的一些系统工具 输入Linux指令:sudo yum install -y yum-utils ②添加软件源信息 输入Linux指令:sudo yum-config-manager --add-repo http://mi...

五分钟搞定:Centos中Kafka和Zookeeper的快速安装教程

[提前声明] 文章由作者:张耀峰 结合自己生产中的使用经验整理,最终形成简单易懂的文章 写作不易,转载请注明,谢谢! 代码案例地址: ?https://github.com/Mydreamandreality/sparkResearch K...

zookeeper使用方

文章目录 场景 文章 场景 在研究duboo,看到了一篇比较好的介...

dubbo+zookeeper+SpringBoot简单入门

dubbo+zookeeper+SpringBoot简单入门

dubbo+zookeeper+SpringBoot简单入门 概述 随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。 单一应...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。