代碼實現(xiàn)-Kafka Consumer

需求：使用flink-connector-kafka_2.12中的FlinkKafkaConsumer消費Kafka中的數(shù)據(jù)做WordCount

需要設(shè)置如下參數(shù)：

1.訂閱的主題

2.反序列化規(guī)則

3.消費者屬性-集群地址

4.消費者屬性-消費者組id(如果不設(shè)置,會有默認(rèn)的,但是默認(rèn)的不方便管理)

5.消費者屬性-offset重置規(guī)則,如earliest/latest...

6.動態(tài)分區(qū)檢測(當(dāng)kafka的分區(qū)數(shù)變化/增加時,Flink能夠檢測到!)

7.如果沒有設(shè)置Checkpoint,那么可以設(shè)置自動提交offset,后續(xù)學(xué)習(xí)了Checkpoint會把offset隨著做Checkpoint的時候提交到Checkpoint和默認(rèn)主題中

代碼實現(xiàn)：

代碼實現(xiàn)-Kafka Producer

需求：

將Flink集合中的數(shù)據(jù)通過自定義Sink保存到Kafka

代碼實現(xiàn)