当前位置:首页 > 后端开发 > Kafka快速安装部署

Kafka快速安装部署

6个月前 (05-27)43

一、Zookeeper安装

注:
kafka需要依赖与zookeeper的管理,如果已安装可以略过此步骤。
zookeeper需要依赖jdk运行,如果没有安装jdk可以参考https://www.cnblogs.com/AganRun/p/12080701.html

1、下载Zookeeper安装包

wget https://www-eu.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

2、解压安装

大家可自行选择目录解压,我这里解压到/opt/software目录

tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/software/

在解压后的zookeeper文件夹下创建目录zkData

mkdir zkData

重命名/opt/software/zookeeper-3.4.14/conf下的配置文件zoo_sample.cfg,zookeeeper默认启动会去该目录下找zoo.cfg,找不到无法启动成功

mv zoo_sample.cfg zoo.cfg

编辑zoo.cfg文件,默认数据文件下在/tmp目录下,配置到自己创建的文件夹中方便管理,不进行此配置不影响启动

dataDir=/opt/module/zookeeper-3.4.10/zkData

3、启动

进到bin目录启动并查看状态,由于是单节点,所以模式为standalone。

[root@localhost ~]# cd /opt/software/zookeeper-3.4.14/bin/
[root@localhost bin]# ./zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/software/zookeeper-3.4.14/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[root@localhost bin]# ./zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/software/zookeeper-3.4.14/bin/../conf/zoo.cfg
Mode: standalone

二、Kafka安装

1、下载

去官网下载相关版本https://kafka.apache.org/downloads,我下载的是2.3.0,别下载成source版本,XXX-src.tar.gz

wget https://www-eu.apache.org/dist/kafka/2.3.1/kafka_2.11-2.3.1.tgz

2、解压安装

我解压到了/opt/software目录下

[root@learn200 package]# tar -zxvf kafka-2.3.0-src.tgz -C /opt/software/

# 顺便改个名字
[root@learn200 package]# cd /opt/software/
[root@learn200 software]# mv kafka_2.11-2.3.1/ kafka/

在解压后的文件内创建logs目录(默认kafka会将日志输出到/tmp下)
修改文件夹内config下的server.properties

[root@learn200 config]# vim server.properties

# 指定日志输出路径
log.dirs=/opt/software/kafka/logs
# 默认找寻本机的zookeeper,如果配置了zookeeper集群,此处需修改
zookeeper.connect=localhost:2181

3、配环境变量

在文件最后加上kafka_home等信息

[root@learn200 config]# vim /etc/profile

# KAFKA_HOME
export KAFKA_HOME=/opt/software/kafka
export PATH=$PATH:$KAFKA_HOME/bin

保存退出,刷新生效

[root@learn200 config]# source /etc/profile

4、启动&停止

启动

[root@learn200 kafka]# bin/kafka-server-start.sh config/server.properties &

停止

[root@learn200 kafka]# bin/kafka-server-stop.sh stop

作者:浮梦
来源链接:https://www.cnblogs.com/AganRun/p/12080912.html

标签: Kafka

“Kafka快速安装部署” 的相关文章

记录Kafka用一段时间报Failed to create new KafkaAdminClient问题

最近公司初次使用Kafka在刚使用当中一切顺利包括对接服务者和消费。但是在使用一段时间突然发现Kafka消费者在调用Kafka的时候报Failed to create new...

kafka的零拷贝(零复制)技术

kafka的零拷贝(零复制)技术

1.传统的读取数据并发送到网络的步骤如下: 1.操作系统将数据从磁盘文件中读取到内核空间的页面进行缓存; 2.应用程序将数据从内核空间读入用户...

Kakfa监控工具EFAK( Kafka eagle )2.1.0详细安装步骤

Kakfa监控工具EFAK( Kafka eagle )2.1.0详细安装步骤

1 EFAK下载 https://www.kafka-eagle.org/ 2 上传解压tar包 tar...

Kafka的安装是否成功的简单测试命令

Kafka的安装是否成功的简单测试命令

首先了解一下kafka的基本概念 .1. BrokerKafka集群包含一个或多个服务器,这种服务器被称为broker2. Topic每条发布到Kafka集群的消息都有一个类别,这...

【K8S】 基于Kubernetes部署Kafka集群

主要参考了https://stackoverflow.com/questions/44651219/kafka-deployment-on-minikube和https://...

Kafka 2.1.0压缩算法性能测试

Kafka 2.1.0压缩算法性能测试

Apache Kafka 2.1.0正式支持ZStandard —— ZStandard是Facebook开源的压缩算法,旨在提供超高的压缩比(compression ratio),具体...

Kafka EOFException解决办法

异常如下 java.io.EOFException at org.apache.kafka.common.network.NetworkReceive.readFrom(...

kafka原理深入剖析和研究,kafka原理详细解读

kafka原理深入剖析和研究,kafka原理详细解读

一、为什么需要消息系统 1.解耦:   允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2.冗余:   消息队列把数据进行持久化直到它们已经被完...

kafka详细教程

kafka详细教程

【仅需9.9订阅专栏合集,作者所有付费文章都能看】 推荐【Kafka教程】https://bigbird.blog.csdn.net/arti...

kafka安装包下载慢,国内镜像下载地址

kafka国内镜像下载地址 阿里云开源镜像站:http://mirrors.aliyun.com/apache/kafka/...