Flink Kafka Producer: 將消息流寫入Kafka topic的必備工具
Kafka Producer
Flink Kafka Producer 被稱為 FlinkKafkaProducer。它允許將消息流寫入一個或多個 Kafka topic。
構(gòu)造器接收下列參數(shù)：
事件被寫入的默認(rèn)輸出 topic
序列化數(shù)據(jù)寫入 Kafka 的 SerializationSchema / KafkaSerializationSchema
Kafka client 的 Properties。下列 property 是必須的：
“bootstrap.servers” （逗號分隔 Kafka broker 列表）
容錯語義
SerializationSchema
Flink Kafka Producer 需要知道如何將 Java/Scala 對象轉(zhuǎn)化為二進制數(shù)據(jù)。
KafkaSerializationSchema 允許用戶指定這樣的 schema。它會為每個記錄調(diào)用 ProducerRecord<byte[], byte[]> serialize(T element, @Nullable Long timestamp) 方法，產(chǎn)生一個寫入到 Kafka 的 ProducerRecord。
用戶可以對如何將數(shù)據(jù)寫到 Kafka 進行細(xì)粒度的控制。你可以通過 producer record：
設(shè)置 header 值
為每個 record 定義 key
指定數(shù)據(jù)的自定義分區(qū)
