#原创

【马士兵】流式处理服务—Apache Kafka教程

课程介绍

课程来自于 流式处理服务—Apache Kafka教程【马士兵教育】

Apache Kafka是一个开源的分布式流处理平台，用于构建高可靠、高性能且可扩展的实时数据管道。它主要用于处理和传输大规模、实时的数据流，适用于各种场景，如实时消息传递、日志聚合、事件处理等。

以下是关于Apache Kafka的一些基本概念和操作步骤的教程：

1. 安装和配置Kafka：
- 下载和安装Kafka：从Apache Kafka官方网站下载Kafka二进制文件，并解压到指定目录。
- 配置Kafka：编辑`server.properties`配置文件，设置必要的参数，如broker ID、端口号、日志目录等。

2. 创建一个Kafka主题：
- 使用`kafka-topics.sh`脚本创建主题：运行命令`bin/kafka-topics.sh --create --topic <topic-name> --bootstrap-server localhost:9092 --partitions <num-partitions> --replication-factor <replication-factor>`来创建一个新的主题。

3. 发布消息到Kafka主题：
- 使用生产者API：编写生产者程序，在代码中创建一个生产者实例，向指定主题发送消息。

4. 消费Kafka主题的消息：
- 使用消费者API：编写消费者程序，创建一个消费者实例，订阅指定的主题，并拉取/接收消息进行处理。

5. 消费者组与分区：
- Kafka支持将消费者组分配给多个消费者，以实现负载均衡和容错。
- 每个主题可以被分为多个分区，每个分区只能由一个消费者组内的消费者消费。

6. 消息保留策略：
- Kafka支持根据时间或数据大小来设置消息保留时间。超过指定时间或大小的消息将被删除。

7. 使用Kafka Connect进行数据导入和导出：
- Kafka Connect是Kafka提供的一种工具，用于将数据从外部系统导入到Kafka或将数据从Kafka导出到外部系统。

文件目录

流式处理服务—Apache Kafka教程【马士兵教育】
├──01 kafka初始，架构模型，角色功能梳理
| └──01.kafka初始，架构模型，角色功能梳理.mp4 263.81M
├──02 kafka集群搭建，topic+partition消费逻辑梳理
| └──02.kafka集群搭建.mp4 389.36M
├──03 基础开发及消费者提交维护offset不同粒度方式
| └──03.消费者提交维护offset不同粒度方式.mp4 409.39M
├──04 kafka进阶，ISR,OSR,AR,LW,HW,LEO,ACK原理理论
| └──04.ISR,OSR,AR,LW,HW,LEO,ACK原理理论.mp4 296.49M
├──05 观察验证ISR弹性，时间戳索引，自定义offset便宜
| └──05.观察验证ISR弹性，时间戳索引.mp4 505.38M
├──06 kafka之producer的参数，源码，原理剖析
| └──06.kafka之producer的参数，源码，原理剖析.mp4 449.56M
├──07 kafka 源码分析producer及通信原理
| └──07.kafka 源码分析producer及通信原理.mp4 370.66M
└──08 kafka 源码分析broker网络层通信原理
| └──08.kafka 源码分析broker网络层通信原理.mp4 406.07M

jamison普通

收藏 海报 链接