當(dāng)前位置：首頁(yè) > 科技 > 軟件

從零開始搭建 Kafka 集群

來(lái)源：責(zé)編：時(shí)間：2024-05-16 17:47:23 166觀看

導(dǎo)讀一、搭建設(shè)計(jì)圖片1.1. 機(jī)器分配kafka1(192.168.150.111)kafka2(192.168.150.112)kafka3(192.168.150.113)1.2.linux安裝以及Jdk安裝二、修改Linux主機(jī)名稱hostnamectl set-hostname kafka1hostnamectl set-hostname k

一、搭建設(shè)計(jì)

圖片

1.1. 機(jī)器分配

kafka1(192.168.150.111)
kafka2(192.168.150.112)
kafka3(192.168.150.113)

1.2.linux安裝以及Jdk安裝

二、修改Linux主機(jī)名稱

hostnamectl set-hostname kafka1

hostnamectl set-hostname kafka2

hostnamectl set-hostname kafka3

三、配置主機(jī)名映射

在Windows系統(tǒng)中修改hosts文件，填入如下內(nèi)容：

192.168.150.111 kafka1192.168.150.112 kafka2192.168.150.113 kafka3

圖片

在3臺(tái)Linux的/etc/hosts文件中，填入如下內(nèi)容（3臺(tái)都要添加）。

192.168.150.111 kafka1192.168.150.112 kafka2192.168.150.113 kafka3

四、配置SSH免密登錄

后續(xù)安裝的集群化軟件，多數(shù)需要遠(yuǎn)程登錄以及遠(yuǎn)程執(zhí)行命令，我們可以簡(jiǎn)單起見，配置三臺(tái)Linux服務(wù)器之間的免密碼互相SSH登陸。

在每一臺(tái)機(jī)器都執(zhí)行：

ssh-keygen -t rsa -b 4096

一路回車到底即可 2. 在每一臺(tái)機(jī)器都執(zhí)行：

ssh-copy-id kafka1ssh-copy-id kafka2ssh-copy-id kafka3

執(zhí)行完畢后，kafka1、kafka2、kafka3之間將完成root用戶之間的免密互通。

測(cè)試免密登錄完成以上步驟后，你應(yīng)該能夠使用SSH免密登錄到目標(biāo)服務(wù)器了。只需執(zhí)行以下命令：ssh 用戶名@remote_host。

ssh rootmkafka1ssh root@kafka2ssh root@kafka3

五、修改時(shí)區(qū)并配置自動(dòng)時(shí)間同步

#1. 安裝ntp軟件yum install -y ntp#2. 更新時(shí)區(qū)rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime#3. 同步時(shí)間ntpdate -u ntp.aliyun.com#4. 開啟ntp服務(wù)并設(shè)置開機(jī)自啟systemctl start ntpdsystemctl enable ntpd

六、VMware虛擬機(jī)集群上部署Zookeeper集群

當(dāng)前使用發(fā)行版：3.8.4版。

可以在https://downloads.apache.org/zookeeper/選擇對(duì)應(yīng)版本下載：

圖片

注意：以下操作，kafka1節(jié)點(diǎn)執(zhí)行，以root身份登陸。

1.上傳zookeeper安裝包到kafka1節(jié)點(diǎn)中。

2.創(chuàng)建/export/server/。

mkdir -p /export/server/

解壓縮安裝包到/export/server/中。

tar -zxvf apache-zookeeper-3.8.4.tar.gz -C /export/server/

3.在 cd /export/server/apache-zookeeper-3.8.4-bin/conf/創(chuàng)建zoo.cfg。

# 復(fù)制zoo_sample.cfg命名為zoo.cfgcp zoo_sample.cfg zoo.cfg

4.修改Zookeeper保存數(shù)據(jù)的目錄。

mkdir -p /export/server/apache-zookeeper-3.8.4-bin/data

5.編輯zoo.cfg文件。

vim zoo.cfg

內(nèi)容如下:

# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial # synchronization phase can takeinitLimit=10# The number of ticks that can pass between # sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just # example sakes.dataDir=/export/server/apache-zookeeper-3.8.4-bin/data# the port at which the clients will connectclientPort=2181server.1=192.168.150.111:2888:3888server.2=192.168.150.112:2888:3888server.3=192.168.150.113:2888:3888

圖片

創(chuàng)建myid文件，配置服務(wù)器編號(hào) 服務(wù)器zookeeper的dataDir對(duì)應(yīng)目錄下創(chuàng)建 myid 文件，內(nèi)容為對(duì)應(yīng)ip的zookeeper服務(wù)器編號(hào)。

mkdir -p /export/server/apache-zookeeper-3.8.4-bin/dataecho 1 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

7.分發(fā)zookeeper文件夾

# 在kafka1執(zhí)行如下命令cd /export/serverscp -r  /export/server/apache-zookeeper-3.8.4-bin kafka2:`pwd`/scp -r  /export/server/apache-zookeeper-3.8.4-bin kafka3:`pwd`/

8.在kafka2上修改myid

echo 2 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

9.在kafka3上修改myid

echo 3 > /export/server/apache-zookeeper-3.8.4-bin/data/myid

七、VMware虛擬機(jī)集群上部署Kafka集群

本次使用的Kafka版本為2.4.1，是2020年3月12日發(fā)布的版本。可以注意到Kafka的版本號(hào)為：kafka_2.12-2.4.1，因?yàn)閗afka主要是使用scala語(yǔ)言開發(fā)的，2.12為scala的版本號(hào)。http://kafka.apache.org/downloads可以查看到每個(gè)版本的發(fā)布時(shí)間。

圖片

1.將Kafka的安裝包上傳到虛擬機(jī)。

tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/ cd /export/server/kafka_2.12-2.4.1/

2.修改 server.properties。

cd /export/server/kafka_2.12-2.4.1/configvim server.properties

內(nèi)容如下：

# 指定broker的idbroker.id=0# 指定Kafka數(shù)據(jù)的位置log.dirs=/export/server/kafka_2.12-2.4.1/data# 配置zk的三個(gè)節(jié)點(diǎn)zookeeper.cnotallow=kafka1:2181,kafka2:2181,kafka3:2181

3.將安裝好的kafka復(fù)制到另外兩臺(tái)服務(wù)器。

cd /export/serverscp -r apache-zookeeper-3.8.4 kafka2:`pwd`/scp -r apache-zookeeper-3.8.4 kafka3:`pwd`/

4.修改另外兩個(gè)節(jié)點(diǎn)的broker.id分別為1和2。

---------kafka1--------------cd /export/server/kafka_2.12-2.4.1/configvim erver.propertiesbroker.id=1

---------kafka2--------------cd /export/server/kafka_2.12-2.4.1/configvim erver.propertiesbroker.id=2

八、配置Zookeeper和KAFKA_HOME環(huán)境變量

vim /etc/profileJAVA_HOME=/export/server/jdk1.8.0_361KAFKA_HOME=/export/server/kafka_2.12-2.4.1ZOKEEPER_HOME=/export/server/apache-zookeeper-3.8.4-bin/PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOKEEPER_HOME/binexport PATH分發(fā)到各個(gè)節(jié)點(diǎn)scp /etc/profile kafka2:$PWDscp /etc/profile kafka2:$PWD每個(gè)節(jié)點(diǎn)加載環(huán)境變量source /etc/profile

九、啟動(dòng)Zookeeper

1.在三臺(tái)機(jī)器上啟動(dòng)Zookeeper。

zkServer.sh start

圖片

2.在三臺(tái)機(jī)器上查看Zookeeper狀態(tài)。

zkServer.sh status

圖片

十、啟動(dòng)Kafka

[root@kafka1 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties[root@kafka2 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties[root@kafka3 ~]# kafka-server-start.sh /export/server/kafka_2.12-2.4.1/config/server.properties

kafka1節(jié)點(diǎn)的Cluster Id：

圖片

kafka2節(jié)點(diǎn)的Cluster Id：

圖片

kafka3節(jié)點(diǎn)的Cluster Id：

圖片

十一、查看Kakka隊(duì)列

1.創(chuàng)建主題(名字叫test)：

kafka-topics.sh --create --bootstrap-server kafka1:9092 --topic test

2.查詢當(dāng)前kafka的所有主題：

kafka-topics.sh --bootstrap-server kafka3:9092 --list

本文鏈接：http://www.tebozhan.com/showinfo-26-88732-0.html從零開始搭建 Kafka 集群

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： SpringBoot項(xiàng)目中這十個(gè)開發(fā)技巧，你都知道嗎？

下一篇： PostgreSQL 的事務(wù) ID 回卷，應(yīng)對(duì)措施也很簡(jiǎn)單

標(biāo)簽：

熱門焦點(diǎn)

之家push系統(tǒng)迭代之路

前言在這個(gè)信息爆炸的互聯(lián)網(wǎng)時(shí)代，能夠及時(shí)準(zhǔn)確獲取信息是當(dāng)今社會(huì)要解決的關(guān)鍵問(wèn)題之一。隨著之家用戶體量和內(nèi)容規(guī)模的不斷增大，傳統(tǒng)的靠"主動(dòng)拉"獲取信息的方式已不能滿足用
WebRTC.Net庫(kù)開發(fā)進(jìn)階，教你實(shí)現(xiàn)屏幕共享和多路復(fù)用！

WebRTC.Net庫(kù)：讓你的應(yīng)用更親民友好，實(shí)現(xiàn)視頻通話無(wú)痛接入！除了基本用法外，還有一些進(jìn)階用法可以更好地利用該庫(kù)。自定義 STUN/TURN 服務(wù)器配置WebRTC.Net 默認(rèn)使用 Google 的
品牌洞察丨服務(wù)本地，美團(tuán)直播成效幾何？

來(lái)源：17PR7月11日，美團(tuán)App首頁(yè)推薦位出現(xiàn)“美團(tuán)直播”的固定入口。在直播聚合頁(yè)面，外賣“神槍手”直播間、美團(tuán)旅行直播間、美團(tuán)買菜直播間等均已上線，同時(shí)
ESG的面子與里子

來(lái)源 | 光子星球撰文 | 吳坤諺編輯 | 吳先之三伏大幕拉起，各地高溫預(yù)警不絕，但處于厄爾尼諾大“烤”之下的除了眾生，還有各大企業(yè)發(fā)布的ESG報(bào)告。ESG是“環(huán)境保
當(dāng)家的盒馬，加速謀生

來(lái)源 | 價(jià)值星球Planet作者 | 歸去來(lái)自己“當(dāng)家”的盒馬，開始加速謀生了。據(jù)盒馬官微消息，盒馬計(jì)劃今年開放生鮮供應(yīng)鏈，將其生鮮商品送往食堂。目前，盒馬在上海已經(jīng)與
華為Mate 60系列用上可變靈動(dòng)島：正式版體驗(yàn)將會(huì)更出色

這段時(shí)間以來(lái)，關(guān)于華為新旗艦的爆料日漸密集。據(jù)此前多方爆料，今年華為將開始恢復(fù)一年雙旗艦戰(zhàn)略，除上半年推出的P60系列外，往年下半年的Mate系列也將
機(jī)構(gòu)稱Q2國(guó)內(nèi)智能手機(jī)銷量同比下滑4% vivo份額重回第1

7月29日消息，根據(jù)市場(chǎng)調(diào)查機(jī)構(gòu)Counterpoint Research公布的最新報(bào)告，2023年第2季度中國(guó)智能手機(jī)銷量同比下降4%，創(chuàng)新自2014年以來(lái)第2季度銷量新低。報(bào)
超閉合精工鉸鏈徹底消滅縫隙三星Galaxy Z Flip5與Galaxy Z Fold5發(fā)布

2023年7月26日，三星電子正式發(fā)布了Galaxy Z Flip5與Galaxy Z Fold5。三星新一代折疊屏手機(jī)采用超閉合精工鉸鏈，讓折疊后的縫隙不再可見。同時(shí)，配合處
iQOO Neo8 Pro真機(jī)諜照曝光：天璣9200+和V1+旗艦雙芯加持

去年10月，iQOO推出了iQOO Neo7系列機(jī)型，不僅搭載了天璣9000+，而且是同價(jià)位唯一一款天璣9000+直屏旗艦，一經(jīng)上市便受到了用戶的廣泛關(guān)注。在時(shí)隔半年后，

AVt天堂网手机版,亚洲va久久久噜噜噜久久4399,天天综合亚洲色在线精品,亚洲一级Av无码毛片久久精品

從零開始搭建 Kafka 集群

一、搭建設(shè)計(jì)

1.1. 機(jī)器分配

1.2.linux安裝以及Jdk安裝

二、修改Linux主機(jī)名稱

三、配置主機(jī)名映射

四、配置SSH免密登錄

五、修改時(shí)區(qū)并配置自動(dòng)時(shí)間同步

六、VMware虛擬機(jī)集群上部署Zookeeper集群

七、VMware虛擬機(jī)集群上部署Kafka集群

八、配置Zookeeper和KAFKA_HOME環(huán)境變量

九、啟動(dòng)Zookeeper

十、啟動(dòng)Kafka

十一、查看Kakka隊(duì)列

之家push系統(tǒng)迭代之路

WebRTC.Net庫(kù)開發(fā)進(jìn)階，教你實(shí)現(xiàn)屏幕共享和多路復(fù)用！

品牌洞察丨服務(wù)本地，美團(tuán)直播成效幾何？

ESG的面子與里子

當(dāng)家的盒馬，加速謀生

華為Mate 60系列用上可變靈動(dòng)島：正式版體驗(yàn)將會(huì)更出色

機(jī)構(gòu)稱Q2國(guó)內(nèi)智能手機(jī)銷量同比下滑4% vivo份額重回第1

超閉合精工鉸鏈徹底消滅縫隙三星Galaxy Z Flip5與Galaxy Z Fold5發(fā)布

iQOO Neo8 Pro真機(jī)諜照曝光：天璣9200+和V1+旗艦雙芯加持

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊