กินข้อความเดิมอีกครั้งหากการประมวลผลข้อความล้มเหลว

ฉันใช้ Confluent.Kafka .NET ไคลเอ็นต์เวอร์ชัน 1.3.0 ฉันกำลังติดตามเอกสาร :

var consumerConfig = new ConsumerConfig
{
    BootstrapServers = "server1, server2",
    AutoOffsetReset = AutoOffsetReset.Earliest,
    EnableAutoCommit = true,
    EnableAutoOffsetStore = false,
    GroupId = this.groupId,
    SecurityProtocol = SecurityProtocol.SaslPlaintext,
    SaslMechanism = SaslMechanism.Plain,
    SaslUsername = this.kafkaUsername,
    SaslPassword = this.kafkaPassword,
};

using (var consumer = new ConsumerBuilder<Ignore, string>(consumerConfig).Build())
{
    var cancellationToken = new CancellationTokenSource();
    Console.CancelKeyPress += (_, e) =>
    {
        e.Cancel = true;
        cancellationToken.Cancel();
    };

    consumer.Subscribe("my-topic");
    while (true)
    {
        try
        {
            var consumerResult = consumer.Consume();
            // process message
            consumer.StoreOffset(consumerResult);
        }
        catch (ConsumeException e)
        {
            // log
        }
        catch (KafkaException e)
        {
            // log
        }
        catch (OperationCanceledException e)
        {
            // log
        }
    }
}

ปัญหาคือว่าแม้ว่าผมจะแสดงความคิดเห็นออกบรรทัดconsumer.StoreOffset(consumerResult);, ฉันได้รับข้อความ unconsumed ต่อไปในครั้งต่อไปที่ผมกินเช่นชดเชยช่วยเพิ่มซึ่งไม่ได้ดูเหมือนจะเป็นสิ่งที่เรียกร้องเอกสารที่มันไม่คือการส่งมอบอย่างน้อยหนึ่ง

แม้ว่าฉันจะตั้งค่าEnableAutoCommit = falseและลบ 'EnableAutoOffsetStore = false' จากการตั้งค่าและแทนที่consumer.StoreOffset(consumerResult)ด้วยconsumer.Commit()ฉันยังคงเห็นพฤติกรรมเดียวกันนั่นคือแม้ว่าฉันจะแสดงความคิดเห็นออกไปCommitฉันยังคงได้รับข้อความที่ยังไม่ได้อ่านต่อไป

ฉันรู้สึกว่าฉันขาดพื้นฐานบางอย่างที่นี่ แต่ไม่สามารถคิดได้ ความช่วยเหลือใด ๆ ที่เป็นที่นิยม!

ขออภัยฉันยังไม่สามารถเพิ่มความคิดเห็น Kafka ผู้บริโภคกินข้อความใน batchs, ดังนั้นบางทีคุณอาจยังคงย้ำผ่านชุดดึงข้อมูลไว้ล่วงหน้าโดยด้ายพื้นหลัง

คุณสามารถตรวจสอบว่าผู้บริโภคของคุณยอมรับการชดเชยหรือไม่ใช้ kafka util kafka-consumer-groups.sh

kafka-consumer-groups.sh --bootstrap-server kafka-host:9092 --group consumer_group  --describe

คุณอาจต้องการลองตรรกะอีกครั้งสำหรับการประมวลผลข้อความของคุณในจำนวนครั้งที่กำหนดเช่น 5 ถ้าไม่ประสบความสำเร็จในระหว่างการลอง 5 ครั้งเหล่านี้คุณอาจต้องการเพิ่มข้อความนี้ไปยังหัวข้ออื่นสำหรับการจัดการทั้งหมด ข้อความที่ล้มเหลวซึ่งมีความสำคัญเหนือหัวข้อจริงของคุณ หรือคุณอาจต้องการเพิ่มข้อความที่ล้มเหลวในหัวข้อเดียวกันเพื่อที่จะได้รับในภายหลังเมื่อมีการใช้ข้อความอื่นทั้งหมด

หากการประมวลผลข้อความใด ๆ สำเร็จภายในการลอง 5 ครั้งเหล่านั้นคุณสามารถข้ามไปยังข้อความถัดไปในคิว