(3人评价)
尚硅谷大数据技术之Kafka(2019新版)

大数据技术之Kafka(2019新版)

价格 免费
会员免费学 加入学习

publish:发布

topic:队列

subscribe:订阅

[展开全文]

broker 服务器 起了kafka 进程

某一个分区只能被某法消费者组里的某个消费者消费。

消费者组提高消费能力

消费者组里边的个数和kafka集群里的分区数相等的时候效率最高。

kafka 集群的正常运行 依赖于zookeeper

zookeeper 0.9版本之前保存消费者消费的的位置信息

0.9版本之后 offset 存储本地

帮kafka集群存储信息

[展开全文]

主题用来区分数据

分区用来提高集群并发度

leader针对的是一个topic和partition组合 有leader就有一个follwer

一个分区只能被一个消费者组里的一个消费者消费

消费者组有利于消费消息的速度

zookeeper作用 1 帮助kafka集群存储一些消息 2 帮助消费者存储消费位置消息 (0.9版本之前存在zookeeper,之后存kafka本地,改的原因是与zk链接太频繁)

 

 

 

[展开全文]

kafka 是 基于发布/订阅模式 其中的消费者主动拉取消息的模式  这种模式的缺点,消费者需要不断轮询,浪费资源

[展开全文]

三部分

生产者:

kafka集群:

消费者:

zookeeper:记录消费位置。通过offset(偏移量)记录,0.9版本有变化。

同一个组内的不同消费者不能消费同一个消息分区,一个消息分区在一个组内只能被一个消费者消费。

kafka消息有效时长默认保存7天。

 

 

 

[展开全文]

点对点:一对一

发布订阅模式有两种:一对多

1. 队列(mq组件)自动推送消息给消费者

2. 消费者主动拉取队列消息

kafka依赖消费者主动获取队列消息:需要自动维护一个长轮询主动监听获取xia

[展开全文]

得到的

public static void main(String[] args) {
    System.err.println("I love Java !!!");
}

十三水

[展开全文]

主题分区最多不大于broker数,副本不在同broker可多个副本。

[展开全文]

kafka日志文件

server.log

kafka副本数不能超过机器数

[展开全文]

同步:程序按顺序执行

异步:

 

消息队列好处:

解耦  削峰 异步   缓冲(生产大于消费)

 

消息队列的两种模式:
(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)生产者生产消息发送到queue

(2)发布/订阅模式(一对多,topic中的消息会被所有消费者消费){可分为queue推送消息数据和消费者拉取消息数据}

 

Kafka是发布订阅模式,消费者主动去拉去消息(消费者一直去询问topic对列,需要去维护一个长轮询)

 

kafka架构

 

同一分区的消息只能被同一个消费者组的一个消费者消费  

 

 

 

 

[展开全文]

同步:程序按顺序执行

异步:

 

消息队列好处:

解耦  削峰 异步   缓冲(生产大于消费)

 

消息队列的两种模式:
(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)生产者生产消息发送到queue

(2)发布/订阅模式(一对多,topic中的消息会被所有消费者消费){可分为queue推送消息数据和消费者拉取消息数据}

 

Kafka是发布订阅模式,消费者主动去拉去消息(消费者一直去询问topic对列,需要去维护一个长轮询)

 

[展开全文]

同步:程序按顺序执行

异步:

 

消息队列好处:

解耦 

削峰 

异步   

缓冲(生产大于消费)

 

 

[展开全文]

server.properties文件中的log.retention.hours=168是设置纪录消费者消费偏移量的默认值

log.segment.bytes=1073741824设置Kafka数据文件切分的最大值

为了防止log文件过大,导致数据定位效率低下,Kafka采取分片盒索引机制

每个partition分为多个segment

index存储的是当前消息的起始偏移量

数据消息的大小固定

二分查找方法

 

[展开全文]
业界大牛亲自授课
前沿技术实时更新
足不出户学编程
关注尚硅谷微信 一键下载全部视频教程

关注尚硅谷微信

一键下载全部视频教程