kafka 的介绍

消息队列

Kafka: 是由 Linked 开源提供的分布式消息队列，由 scala 语言写成的

消息队列的作用：解耦 异步 并行

推送和拉取

传统的消息队列给予 pub sub 发布和订阅

Kafka 消息队列基于: push pull 过程 推送和拉取

构架模型

Producer: 生产者，生产消息的 主要接收一些外部的数据源 从外部获取数据 我们可以从 flume 中获取数据

kafkaAPI: 生产数据，通过 push 的方式主动将数据推送到 kafka 的 topic 当中去

topic: 主题，说白了里面就是一些各种数据

partition: 消息的分区，解决横向扩展问题。为了解决 partition 丢失问题，引用了一个副本机制.

Broker: 一个服务器叫做一个 broker;

Consumer: 消费者，主要用来消费数据的，主动的 pull 到 topic 拉取数据

Zookeeper: 为了解决消费者消费数据的时候，确定 topic 中到底有多少个 parttion, 都在哪些机器上.

Kafka 消费模型: 组的概念，同一时间，一个组中，只能有一个线程去消费 parttion 中的数据，Partition 里面包含了多个 segement,segement 里面两个文件 .log 文件 .index 文件

• .log 记录了我们的数据，文件是顺序读写的
• .index 记录了.log 文件的索引

Offset: 消息的偏移量，我们消费数据的时候，都要记录消息的 offset, 下次再消费的时候，我们就可以确定数据该从哪里进行消费