当前位置:首页 > 后端开发 > kafka在windows上的安装、运行

kafka在windows上的安装、运行

6个月前 (05-22)39

1.简介 

  Kafka是一种高吞吐量的分布式发布订阅消息系统。详细介绍可查阅官网:kafka官网


2.环境搭建


2.1 安装JDK

    下载地址:jre下载

   有关jdk的安装不再赘述。


2.2 安装Zookeeper

     下载地址:https://zookeeper.apache.org/releases.html

    下载后,解压放在目录D:\bigdata(本文所用的目录)下,关于zookeeper以及kafka的目录,路径中最好不要出现空格,比如D:\Program Files,尽量别用,运行脚本时会有问题。

①进入zookeeper的相关设置所在的文件目录,例如本文的:D:\bigdata\zookeeper-3.4.10\conf

②将"zoo_sample.cfg"重命名为"zoo.cfg"

③打开zoo.cfg(至于使用什么编辑器,根据自己喜好选即可),找到并编辑:

dataDir=/tmp/zookeeper  to  D:/bigdata/zookeeper-3.4.10/data D:\\bigdata\\zookeeper-3.4.10\\data(路径仅为示例,具体可根据需要配置)

这里注意,路径要么是"/"分割,要么是转义字符"\\",这样会生成正确的路径(层级,子目录)

④与配置jre类似,在系统环境变量中添加:

    a.系统变量中添加ZOOKEEPER_HOME=D:\bigdata\zookeeper-3.4.10

    b.编辑系统变量中的path变量,增加%ZOOKEEPER_HOME%\bin

⑤在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)

这是本文最终的zoo.cfg文件的内容:

[plain]  view plain   copy
  1. # The number of milliseconds of each tick  
  2. tickTime=2000  
  3. # The number of ticks that the initial   
  4. # synchronization phase can take  
  5. initLimit=10  
  6. # The number of ticks that can pass between   
  7. # sending a request and getting an acknowledgement  
  8. syncLimit=5  
  9. # the directory where the snapshot is stored.  
  10. # do not use /tmp for storage, /tmp here is just   
  11. # example sakes.  
  12. dataDir=D:/bigdata/zookeeper-3.4.10/data  
  13. #dataDir=D:\\bigdata\\zookeeper-3.4.10\\data  
  14. # the port at which the clients will connect  
  15. clientPort=2181  
  16. # the maximum number of client connections.  
  17. # increase this if you need to handle more clients  
  18. #maxClientCnxns=60  
  19. #  
  20. # Be sure to read the maintenance section of the   
  21. # administrator guide before turning on autopurge.  
  22. #  
  23. # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance  
  24. #  
  25. # The number of snapshots to retain in dataDir  
  26. #autopurge.snapRetainCount=3  
  27. # Purge task interval in hours  
  28. # Set to "0" to disable auto purge feature  
  29. #autopurge.purgeInterval=1  

⑥打开cmd窗口,输入zkserver,运行Zookeeper,运行结果如下:

kafka在windows上的安装、运行 _ Java侠

恭喜,Zookeeper已经安装完成,已在2181端口运行。


2.3 安装kafka

    下载地址:http://kafka.apache.org/downloads

    要下载Binary downloads这个类型,不要下载源文件,这种方便使用。下载后,解压放在D:\bigdata目录下。

①进入kafka配置文件所在目录,D:\bigdata\kafka_2.11-0.9.0.1\config

②编辑文件"server.properties",找到并编辑:

 log.dirs=/tmp/kafka-logs  to  log.dirs=D:/bigdata/kafka_2.11-0.9.0.1/kafka-logs 或者 D:\\bigdata\\kafka_2.11-0.9.0.1\\kafka-logs

同样注意:路径要么是"/"分割,要么是转义字符"\\",这样会生成正确的路径(层级,子目录)。错误路径情况可自行尝试,文件夹名为这种形式:bigdatakafka_2.11-0.9.0.1kafka-logs

③在server.properties文件中,zookeeper.connect=localhost:2181代表kafka所连接的zookeeper所在的服务器IP以及端口,可根据需要更改。本文在同一台机器上使用,故不用修改。

④kafka会按照默认配置,在9092端口上运行,并连接zookeeper的默认端口2181。


2.4 运行kafka

提示:请确保启动kafka服务器前,Zookeeper实例已经在运行,因为kafka的运行是需要zookeeper这种分布式应用程序协调服务。

①进入kafka安装目录D:\bigdata\kafka_2.11-0.9.0.1

②按下shift+鼠标右键,选择"在此处打开命令窗口",打开命令行。

③在命令行中输入:.\bin\windows\kafka-server-start.bat .\config\server.properties   回车。

④正确运行的情况为:

kafka在windows上的安装、运行 _ Java侠

到目前为止,zookeeper以及kafka都已正确运行。保持运行状态,不要关闭。



重要(操作日志的处理):

kafka启动后,如果你去查看kafka所在的根目录,或者是kafka本身的目录,会发现已经默认生成一堆操作日志(这样看起来真心很乱):

kafka在windows上的安装、运行 _ Java侠

而且会不断生成不同时间戳的操作日志。刚开始不知所措,一番研究后,看了启动的脚本内容,发现启动的时候是会默认使用到这个log4j.properties文件中的配置,而在zoo.cfg是不会看到本身的启动会调用到这个,还以为只有那一个日志路径:

kafka在windows上的安装、运行 _ Java侠

在这里配置一下就可以了,找到config下的log4j.properties:

kafka在windows上的安装、运行 _ Java侠

将路径更改下即可,这样就可以归档在一个文件夹下边了,路径根据自己喜好定义:

kafka在windows上的安装、运行 _ Java侠

另外如何消除不断生成日志的问题,就是同一天的不同时间会不停生成。

修改这里,还是在log4j.properties中:

kafka在windows上的安装、运行 _ Java侠

本身都为trace,字面理解为会生成一堆跟踪日志,将其改为INFO即可。


2.5 创建主题

①创建主题,命名为"test0811",replicationfactor=1(因为只有一个kafka服务器在运行)。可根据集群中kafka服务器个数来修改replicationfactor的数量,以便提高系统容错性等。

②在D:\bigdata\kafka_2.11-0.9.0.1\bin\windows目录下打开新的命令行

③输入命令:

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test0811

回车。 

kafka在windows上的安装、运行 _ Java侠

该窗口可以关闭。


2.6 创建生产者(producer)和消费者(consumer)

①在D:\bigdata\kafka_2.11-0.9.0.1\bin\windows目录下打开新的命令行。

②输入命令,启动producer:

kafka-console-producer.bat --broker-list localhost:9092 --topic test0811 

该窗口不要关闭。

③同样在该目录下打开新的命令行。

④输入命令,启动consumer:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test0811

kafka在windows上的安装、运行 _ Java侠

现在生产者、消费者均已创建完成。

⑤在producer命令行窗口中任意输入内容,回车  在consumer命令行窗口中即可看到相应的内容。

kafka在windows上的安装、运行 _ Java侠

至此,已完成kafka在windows下的安装和基本的使用。


转载自: https://blog.csdn.net/u010283894/article/details/77106159

按照原作者的一套做下来很顺利,中间只遇到一个问题(类无法加载的问题),在我的另一篇博文中讲到了,作者棒棒哒

作者:我有明珠一颗
来源链接:https://blog.csdn.net/m0_37738114/article/details/80405068

“kafka在windows上的安装、运行” 的相关文章

kafka manager安装和使用

kafka manager安装和使用

1、GitHub下载kafka manager的源码并且编译 链接:https://github.com/yahoo/CMAK. 2、编...

Windows环境中Kafka的安装及使用

Windows环境中Kafka的安装及使用

Kafka安装及使用 1. 简介 2.环境搭建 2.1安装JDK(例如...

Linux系统中KafKa安装和使用方法  java客户端连接kafka

Linux系统中KafKa安装和使用方法 java客户端连接kafka

kafka linux单机安装 1 下载并安装kafka # tar zxvf kafka_2.12-1.1.0tgz ...

kafka的安装以及使用

kafka的安装以及使用

安装ZooKeeper 1,下载安装包,直接下载3.4.x版本,3.5.x版本可能启动无法找到主类,使用:下载地址 此链接下载直接弃坑 2,解...

centos7安装Kafka Eagle

centos7安装Kafka Eagle

文章目录 前言 一、kafka-eagle功能介绍 二、环境和安装...

Kafka安装web界面监控工具(kafka-manager)

Kafka安装web界面监控工具(kafka-manager)

目录   简介 安装 启动kafka-manager 测试kafka-manager 输出信息关键参数 简介...

kafka和zookeeper的最详细安装步骤和介绍

kafka和zookeeper的最详细安装步骤和介绍

kafka和zookeeper的详细安装步骤和介绍 1、异步通信 1.1. 观察者模式 观察者模式,又叫发布-订阅模式 定义对象间一种一对多的依赖关系...

Centos安装kafka集群过程

服务器安装kafka 准备工作 安装过程为3台服务器 服务创建目录、目录权限、zookeeper的节点配置 mkdir -p...

centos下安装kafka

环境:CentOS release 6.5 (Final) 1.kafka服务依赖jdk1.7,所以要先装好jdk   下载jdk包到服务器上,但官网上...

kafka安装(一)

昨天搭建了storm,今天早上来开始搭建kafka。 下载路径:http://kafka.apache.org/downloads.html 最终选用的版本是...