Kafka 安装与基本操作

Kafka安装部署

单机模式

1、下载kafka。

  • https://kafka.apache.org/downloads

2、安装解压。

  • 已经编译好的,直接解压就行(tar -zxvf kafka_2.11-2.0.0.tgz )

3、启动zookeeper。

  • 因为 kafka 的注册中心是 zk,所以需要先启动zookeeper节点

  • kafka 内置了 zookeeper 的服务,所以在 bin 目录下提供了 zk 的启动和关闭脚本 zookeeper-server-start.sh 和 zookeeper-server-stop.sh。另外,在config目录下,存在一些配置文件zookeeper.properties和server.properties。

    sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties
    

4、修改server.properties

  • server.properties 是 kafka 的配置文件
  • 修改 listeners 选项
    在这里插入图片描述
    # kafka消息收发监听配置
    listeners=PLAINTEXT://本机IP :9092   
    
    因为 kafka 会去 zk 拿 kafka 的地址
    在这里插入图片描述

5、启动kafka

  • 注意,jdk 版本必须 >= 1.8.0_211 否则会报错
    nohup sh kafka-server-start.sh ../config/server.properties &
    
  • 通过查看进程ps-ef | grep kafka看是否成功启动
  • 若内存不够则修改 vim bin/kafka-server.start.sh的俩1G为256M和128M
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"     # Xms是启动内存,大点启动的快,但可能导致机器暂时变慢
    export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" # Xmx是可占用最大内存,超出就会报oom异常
    

6、停止kafka

  •   sh kafka-server-stop.sh ../config/server.properties
    

集群模式

1、修改server.properties

  • 修改 broker.id,同一个集群中的每个机器的id必须唯一
  • 修改 zookeeper 的连接配置,zookeeper.connect
  • 修改 listeners 配置,否则在 zk 上注册的主机名

2、分别启动三个 kafka

Kafka基本操作

topic 相关

创建 topic

sh kafka-topics.sh --create 
--zookeeper localhost:2181 
--replication-factor 1  # 表示该topic需要在不同的broker中保存几份,这里设置成1,表示在两个broker中保存两份
-partitions 1           # 分区数,相当分配的于队列数
--topic test

查看 topic

sh kafka-topics.sh 
--zookeeper localhost:2181
--list   # 查看topic列表

查看指定 topic 属性信息

sh kafka-topics.sh 
--zookeeper localhost:2181 
--describe    # 查看topic描述
--topic test  # 指定topic

生产消费相关

产生消息

sh kafka-console-producer.sh 
--broker-list localhost:9092  # 指定发送消息的broker
--topic test # 指定发送消息的broker的topic

消费消息

sh kafka-console-consumer.sh 
--bootstrap-server localhost:9092  # 从哪个broker消费消息
--topic test  	  # 从哪个topic消费消息
--from-beginning  # 从何处开始消费消息
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:C马雯娟 返回首页