Kafka: รับ FETCH_SESSION_ID_NOT_FOUND อย่างต่อเนื่อง

ฉันได้รับ FETCH_SESSION_ID_NOT_FOUND อย่างต่อเนื่อง ฉันไม่แน่ใจว่าทำไมมันเกิดขึ้น ทุกคนได้โปรดให้ฉันมาที่นี่ว่าปัญหาคืออะไรและสิ่งที่จะส่งผลกระทบต่อผู้บริโภคและโบรกเกอร์

บันทึกเซิร์ฟเวอร์ Kafka:

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

บันทึกของผู้ใช้ Kafka:

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

รายละเอียดของคลัสเตอร์:

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only) 

max.incremental.fetch.session.cache.slotsเพิ่มมูลค่าของ ค่าเริ่มต้นคือ 1K ในกรณีของฉันฉันได้เพิ่มขึ้นเป็น 10K และได้รับการแก้ไข

ฉันเพิ่มมันในตอนแรกจาก 1K เป็น 2K และในขั้นตอนที่สองจาก 2K ถึง 4K และตราบใดที่ขีด จำกัด ยังไม่หมดไม่มีข้อผิดพลาดปรากฏ:

สำหรับฉันแล้วดูเหมือนว่าจะมีการรั่วไหลของเซสชันโดยผู้ใช้ที่ไม่ระบุชื่อบางคนฉันยังไม่ได้พยายาม จำกัด 10K แต่อ่านคำตอบของ Hrishikesh Mishra ฉันจะทำอย่างแน่นอน เนื่องจากการเพิ่มขีด จำกัด ยังลดความถี่ของข้อผิดพลาดดังนั้นคำถามของการระบุกลุ่มผู้บริโภคแต่ละรายที่เปิดเซสชันการดึงข้อมูลที่เพิ่มขึ้นจำนวนมากเกินไปที่กล่าวถึงที่นี่วิธีตรวจสอบจำนวนแคชสล็อตเซสชันดึงข้อมูลเพิ่มเติมที่ใช้จริงในคลัสเตอร์ Kafka อาจไม่เกี่ยวข้องในท้ายที่สุด