一、搭建設計

圖片HxS28資訊網——每日最新資訊28at.com

1.1. 機器分配

• kafka1(192.168.150.111)
• kafka2(192.168.150.112)
• kafka3(192.168.150.113)

1.2.linux安裝以及Jdk安裝

二、修改Linux主機名稱

hostnamectl set-hostname kafka1

hostnamectl set-hostname kafka2

hostnamectl set-hostname kafka3

三、配置主機名映射

在Windows系統中修改hosts文件，填入如下內容：HxS28資訊網——每日最新資訊28at.com

192.168.150.111 kafka1192.168.150.112 kafka2192.168.150.113 kafka3

圖片HxS28資訊網——每日最新資訊28at.com

imageHxS28資訊網——每日最新資訊28at.com

圖片HxS28資訊網——每日最新資訊28at.com

在3臺Linux的/etc/hosts文件中，填入如下內容（3臺都要添加）。HxS28資訊網——每日最新資訊28at.com

192.168.150.111 kafka1192.168.150.112 kafka2192.168.150.113 kafka3

四、配置SSH免密登錄

后續安裝的集群化軟件，多數需要遠程登錄以及遠程執行命令，我們可以簡單起見，配置三臺Linux服務器之間的免密碼互相SSH登陸。HxS28資訊網——每日最新資訊28at.com

在每一臺機器都執行：HxS28資訊網——每日最新資訊28at.com

ssh-keygen -t rsa -b 4096

一路回車到底即可 2. 在每一臺機器都執行：HxS28資訊網——每日最新資訊28at.com

ssh-copy-id kafka1ssh-copy-id kafka2ssh-copy-id kafka3

執行完畢后，kafka1、kafka2、kafka3之間將完成root用戶之間的免密互通。HxS28資訊網——每日最新資訊28at.com

• 測試免密登錄 完成以上步驟后，你應該能夠使用SSH免密登錄到目標服務器了。只需執行以下命令：ssh 用戶名@remote_host。

ssh rootmkafka1ssh root@kafka2ssh root@kafka3

五、修改時區并配置自動時間同步

#1. 安裝ntp軟件yum install -y ntp#2. 更新時區rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime#3. 同步時間ntpdate -u ntp.aliyun.com#4. 開啟ntp服務并設置開機自啟systemctl start ntpdsystemctl enable ntpd

六、VMware虛擬機集群上部署Zookeeper集群

當前使用發行版：3.8.4版。HxS28資訊網——每日最新資訊28at.com

可以在https://downloads.apache.org/zookeeper/選擇對應版本下載：HxS28資訊網——每日最新資訊28at.com

圖片HxS28資訊網——每日最新資訊28at.com

注意:以下操作,kafka1節點執行,以root身份登陸。HxS28資訊網——每日最新資訊28at.com

1.上傳zookeeper安裝包到kafka1節點中。HxS28資訊網——每日最新資訊28at.com

2.創建/export/server/。HxS28資訊網——每日最新資訊28at.com

mkdir -p /export/server/

解壓縮安裝包到/export/server/中。HxS28資訊網——每日最新資訊28at.com

tar -zxvf apache-zookeeper-3.8.4.tar.gz -C /export/server/

3.在 cd /export/server/apache-zookeeper-3.8.4-bin/conf/創建zoo.cfg。HxS28資訊網——每日最新資訊28at.com

# 復制zoo_sample.cfg命名為zoo.cfgcp zoo_sample.cfg zoo.cfg

4.修改Zookeeper保存數據的目錄。HxS28資訊網——每日最新資訊28at.com

mkdir -p /export/server/apache-zookeeper-3.8.4-bin/data

5.編輯zoo.cfg文件。HxS28資訊網——每日最新資訊28at.com

vim zoo.cfg

內容如下:HxS28資訊網——每日最新資訊28at.com

# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=/export/server/apache-zookeeper-3.8.4-bin/data# the port at which the clients will connectclientPort=2181server.1=192.168.150.111:2888:3888server.2=192.168.150.112:2888:3888server.3=192.168.150.113:2888:3888

圖片HxS28資訊網——每日最新資訊28at.com

創建myid文件，配置服務器編號 服務器zookeeper的dataDir對應目錄下創建 myid 文件，內容為對應ip的zookeeper服務器編號。HxS28資訊網——每日最新資訊28at.com

mkdir -p /export/server/apache-zookeeper-3.8.4-bin/dataecho 1 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

7.分發zookeeper文件夾HxS28資訊網——每日最新資訊28at.com

# 在kafka1執行如下命令cd /export/serverscp -r  /export/server/apache-zookeeper-3.8.4-bin kafka2:`pwd`/scp -r  /export/server/apache-zookeeper-3.8.4-bin kafka3:`pwd`/

8.在kafka2上修改myidHxS28資訊網——每日最新資訊28at.com

echo 2 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

9.在kafka3上修改myidHxS28資訊網——每日最新資訊28at.com

echo 3 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

七、VMware虛擬機集群上部署Kafka集群

本次使用的Kafka版本為2.4.1，是2020年3月12日發布的版本。 可以注意到Kafka的版本號為：kafka_2.12-2.4.1，因為kafka主要是使用scala語言開發的，2.12為scala的版本號。http://kafka.apache.org/downloads可以查看到每個版本的發布時間。HxS28資訊網——每日最新資訊28at.com

圖片HxS28資訊網——每日最新資訊28at.com

1.將Kafka的安裝包上傳到虛擬機。HxS28資訊網——每日最新資訊28at.com

tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/ cd /export/server/kafka_2.12-2.4.1/

2.修改 server.properties。HxS28資訊網——每日最新資訊28at.com

cd /export/server/kafka_2.12-2.4.1/configvim server.properties

內容如下：HxS28資訊網——每日最新資訊28at.com

# 指定broker的idbroker.id=0# 指定Kafka數據的位置log.dirs=/export/server/kafka_2.12-2.4.1/data# 配置zk的三個節點zookeeper.cnotallow=kafka1:2181,kafka2:2181,kafka3:2181

3.將安裝好的kafka復制到另外兩臺服務器。HxS28資訊網——每日最新資訊28at.com

cd /export/serverscp -r apache-zookeeper-3.8.4 kafka2:`pwd`/scp -r apache-zookeeper-3.8.4 kafka3:`pwd`/

4.修改另外兩個節點的broker.id分別為1和2。HxS28資訊網——每日最新資訊28at.com

---------kafka1--------------cd /export/server/kafka_2.12-2.4.1/configvim erver.propertiesbroker.id=1

---------kafka2--------------cd /export/server/kafka_2.12-2.4.1/configvim erver.propertiesbroker.id=2

八、配置Zookeeper和KAFKA_HOME環境變量

vim /etc/profileJAVA_HOME=/export/server/jdk1.8.0_361KAFKA_HOME=/export/server/kafka_2.12-2.4.1ZOKEEPER_HOME=/export/server/apache-zookeeper-3.8.4-bin/PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOKEEPER_HOME/binexport PATH分發到各個節點scp /etc/profile kafka2:$PWDscp /etc/profile kafka2:$PWD每個節點加載環境變量source /etc/profile

九、啟動Zookeeper

1.在三臺機器上啟動Zookeeper。HxS28資訊網——每日最新資訊28at.com

zkServer.sh start

圖片HxS28資訊網——每日最新資訊28at.com

2.在三臺機器上查看Zookeeper狀態。HxS28資訊網——每日最新資訊28at.com

zkServer.sh status

圖片HxS28資訊網——每日最新資訊28at.com

圖片HxS28資訊網——每日最新資訊28at.com

十、啟動Kafka

[root@kafka1 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties[root@kafka2 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties[root@kafka3 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties

kafka1節點的Cluster Id：HxS28資訊網——每日最新資訊28at.com

圖片HxS28資訊網——每日最新資訊28at.com

kafka2節點的Cluster Id：HxS28資訊網——每日最新資訊28at.com

圖片HxS28資訊網——每日最新資訊28at.com

kafka3節點的Cluster Id：HxS28資訊網——每日最新資訊28at.com

圖片HxS28資訊網——每日最新資訊28at.com

十一、查看Kakka隊列

1.創建主題(名字叫test)：HxS28資訊網——每日最新資訊28at.com

kafka-topics.sh --create --bootstrap-server kafka1:9092 --topic test

2.查詢當前kafka的所有主題：HxS28資訊網——每日最新資訊28at.com

kafka-topics.sh --bootstrap-server kafka3:9092 --list

HxS28資訊網——每日最新資訊28at.com

本文鏈接：http://www.tebozhan.com/showinfo-26-88325-0.html從零開始搭建 Kafka集群

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 八個將網頁轉為桌面應用程序的開源方案

下一篇： 我用 Flutter、React Native 和 Ionic 構建了相同的應用程序