Purge Kafka หัวข้อ

มีวิธีกำจัดหัวข้อในคาฟคาหรือไม่?

ฉันผลักข้อความที่มีขนาดใหญ่เกินไปในหัวข้อข้อความของคาฟคาในเครื่องท้องถิ่นของฉันตอนนี้ฉันได้รับข้อผิดพลาด:

kafka.common.InvalidMessageSizeException: invalid message size

การเพิ่มfetch.sizeไม่เหมาะในที่นี้เพราะฉันไม่ต้องการรับข้อความที่ยิ่งใหญ่

อัปเดตเวลาเก็บข้อมูลชั่วคราวในหัวข้อเป็นหนึ่งวินาที:

kafka-topics.sh --zookeeper <zkhost>:2181 --alter --topic <topic name> --config retention.ms=1000

และในคาฟคารุ่นใหม่คุณสามารถทำได้ด้วย kafka-configs --entity-type topics

kafka-configs.sh --zookeeper <zkhost>:2181 --entity-type topics --alter --entity-name <topic name> --add-config retention.ms=1000

จากนั้นรอให้การล้างมีผล (ประมาณหนึ่งนาที) เมื่อล้างเรียกคืนก่อนหน้านี้retention.msค่า

ในการกำจัดคิวคุณสามารถลบหัวข้อ:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

จากนั้นสร้างใหม่อีกครั้ง:

bin/kafka-topics.sh --create --zookeeper localhost:2181 \
    --replication-factor 1 --partitions 1 --topic test

นี่คือขั้นตอนที่ฉันทำตามเพื่อลบหัวข้อที่มีชื่อMyTopic:

1. อธิบายหัวข้อและอย่านำรหัสนายหน้ามาใช้
2. หยุด Apache Kafka daemon สำหรับแต่ละ ID โบรกเกอร์ที่แสดงรายการ
3. rm -rf /tmp/kafka-logs/MyTopic-0เชื่อมต่อกับแต่ละโบรกเกอร์และลบโฟลเดอร์ข้อมูลหัวข้อเช่น ทำซ้ำสำหรับพาร์ติชันอื่น ๆ และแบบจำลองทั้งหมด
4. ลบข้อมูลเมตาของหัวข้อ: zkCli.shจากนั้นrmr /brokers/MyTopic
5. เริ่ม Apache Kafka daemon สำหรับเครื่องที่หยุดแต่ละเครื่อง

หากคุณพลาดขั้นตอนที่ 3 Apache Kafka จะรายงานหัวข้อต่อไปเรื่อย ๆ (เช่นเมื่อคุณรันkafka-list-topic.sh)

ทดสอบกับ Apache Kafka 0.8.0

ในขณะที่คำตอบที่ยอมรับนั้นถูกต้องวิธีการนั้นไม่ได้รับการสนับสนุน kafka-configsการกำหนดค่ากระทู้ตอนนี้ควรจะทำผ่านทาง

kafka-configs --zookeeper localhost:2181 --entity-type topics --alter --add-config retention.ms=1000 --entity-name MyTopic

การกำหนดค่าที่ตั้งค่าผ่านวิธีนี้สามารถแสดงผลได้ด้วยคำสั่ง

kafka-configs --zookeeper localhost:2181 --entity-type topics --describe --entity-name MyTopic

ทดสอบใน Kafka 0.8.2 สำหรับตัวอย่างเริ่มต้นอย่างรวดเร็ว: ขั้นแรกเพิ่มหนึ่งบรรทัดไปยังไฟล์ server.properties ภายใต้โฟลเดอร์ config:

delete.topic.enable=true

จากนั้นคุณสามารถเรียกใช้คำสั่งนี้:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

จากคาฟก้า 1.1

ล้างหัวข้อ

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --add-config retention.ms=100

รอ 1 นาทีเพื่อให้แน่ใจว่าคาฟคาล้างหัวข้อลบการกำหนดค่าแล้วไปที่ค่าเริ่มต้น

bin/kafka-configs.sh --zookeeper localhost:2181 --alter --entity-type topics --entity-name tp_binance_kline --delete-config retention.ms

kafka ไม่มีวิธีโดยตรงสำหรับการล้าง / ล้างหัวข้อ (คิว) แต่สามารถทำได้ผ่านการลบหัวข้อนั้นและสร้างใหม่

ก่อนอื่นตรวจสอบให้แน่ใจว่าไฟล์ sever.properties มีและถ้าไม่เพิ่ม delete.topic.enable=true

จากนั้นลบหัวข้อ bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic myTopic

จากนั้นสร้างใหม่อีกครั้ง

bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic myTopic --partitions 10 --replication-factor 2

บางครั้งถ้าคุณมีคลัสเตอร์อิ่มตัว (พาร์ติชันมากเกินไปหรือใช้ข้อมูลหัวข้อที่เข้ารหัสหรือใช้ SSL หรือคอนโทรลเลอร์อยู่ในโหนดที่ไม่ดีหรือการเชื่อมต่อไม่สม่ำเสมอจะต้องใช้เวลานานในการกำจัดหัวข้อที่กล่าวมา .

ฉันทำตามขั้นตอนเหล่านี้โดยเฉพาะถ้าคุณใช้ Avro

1: ทำงานด้วยเครื่องมือ kafka:

bash kafka-configs.sh --alter --entity-type topics --zookeeper zookeeper01.kafka.com --add-config retention.ms=1 --entity-name <topic-name>

2: เรียกใช้บนโหนดรีจิสตรีสกีมา:

kafka-avro-console-consumer --consumer-property security.protocol=SSL --consumer-property ssl.truststore.location=/etc/schema-registry/secrets/trust.jks --consumer-property ssl.truststore.password=password --consumer-property ssl.keystore.location=/etc/schema-registry/secrets/identity.jks --consumer-property ssl.keystore.password=password --consumer-property ssl.key.password=password --bootstrap-server broker01.kafka.com:9092 --topic <topic-name> --new-consumer --from-beginning

3: ตั้งค่าการเก็บรักษาหัวข้อกลับเป็นการตั้งค่าดั้งเดิมเมื่อหัวข้อว่างเปล่า

bash kafka-configs.sh --alter --entity-type topics --zookeeper zookeeper01.kafka.com --add-config retention.ms=604800000 --entity-name <topic-name>

หวังว่านี่จะช่วยใครซักคนเพราะมันไม่ได้โฆษณาง่าย ๆ

UPDATE: คำตอบนี้เกี่ยวข้องกับ Kafka 0.6 สำหรับ Kafka 0.8 และต่อมาดูคำตอบจาก @Patrick

ใช่หยุด kafka และลบไฟล์ทั้งหมดจากไดเรกทอรีย่อยที่เกี่ยวข้องด้วยตนเอง (หาได้ง่ายในไดเรกทอรีข้อมูล kafka) หลังจาก kafka รีสตาร์ทหัวข้อจะว่างเปล่า

วิธีที่ง่ายที่สุดคือการตั้งวันที่ของไฟล์บันทึกแต่ละไฟล์ว่าเก่ากว่าระยะเวลาการเก็บรักษา จากนั้นนายหน้าควรทำความสะอาดและนำออกให้คุณภายในไม่กี่วินาที ข้อเสนอนี้มีข้อดีหลายประการ:

1. ไม่จำเป็นต้องรื้อโบรกเกอร์มันเป็นการดำเนินการแบบรันไทม์
2. หลีกเลี่ยงความเป็นไปได้ของข้อยกเว้นออฟเซตที่ไม่ถูกต้อง (เพิ่มเติมจากด้านล่าง)

จากประสบการณ์ของฉันกับ Kafka 0.7.x การลบไฟล์บันทึกและเริ่มต้นนายหน้าใหม่อาจนำไปสู่ข้อยกเว้นออฟเซตที่ไม่ถูกต้องสำหรับผู้บริโภคบางราย สิ่งนี้จะเกิดขึ้นเนื่องจากโบรกเกอร์รีสตาร์ทออฟเซ็ตที่ศูนย์ (ในกรณีที่ไม่มีไฟล์บันทึกใด ๆ ที่มีอยู่) และผู้บริโภคที่เคยบริโภคจากหัวข้อก่อนหน้านี้จะเชื่อมต่อใหม่เพื่อขอออฟเซ็ต [ครั้งเดียวที่ถูกต้อง] หากการชดเชยนี้เกิดขึ้นนอกขอบเขตของบันทึกหัวข้อใหม่จะไม่เกิดอันตรายใด ๆ และผู้บริโภคจะกลับมาทำงานที่จุดเริ่มต้นหรือจุดสิ้นสุด แต่ถ้าออฟเซ็ตตกอยู่ในขอบเขตของบันทึกหัวข้อใหม่นายหน้าจะพยายามดึงข้อมูลชุดข้อความ แต่ล้มเหลวเนื่องจากออฟเซ็ตไม่จัดแนวกับข้อความจริง

สิ่งนี้สามารถลดลงได้ด้วยการล้างการชดเชยผู้บริโภคใน zookeeper สำหรับหัวข้อนั้น แต่ถ้าคุณไม่ต้องการหัวข้อที่บริสุทธิ์และเพียงแค่ต้องการลบเนื้อหาที่มีอยู่แล้วเพียงแค่ 'แตะ' เพียงไม่กี่บันทึกหัวข้อจะง่ายกว่าและเชื่อถือได้มากกว่าหยุดโบรกเกอร์ลบบันทึกหัวข้อและล้างโหนดผู้ดูแลสัตว์บางอย่าง .

คำแนะนำของโทมัสดีมาก แต่น่าเสียดายที่zkCliในรุ่นเก่าของ Zookeeper (เช่น 3.3.6) rmrดูเหมือนจะไม่สนับสนุน ยกตัวอย่างเปรียบเทียบการดำเนินงานบรรทัดคำสั่งในที่ทันสมัย Zookeeperกับรุ่น 3.3

หากคุณประสบกับ Zookeeper เวอร์ชั่นเก่าวิธีหนึ่งคือการใช้ไลบรารี่ของลูกค้าเช่นzc.zkสำหรับ Python สำหรับคนที่ไม่คุ้นเคยกับงูหลามที่คุณจำเป็นต้องติดตั้งโดยใช้pipหรือeasy_install จากนั้นเริ่มต้น Python shell ( python) และคุณสามารถทำได้:

import zc.zk
zk = zc.zk.ZooKeeper('localhost:2181')
zk.delete_recursive('brokers/MyTopic') 

หรือแม้กระทั่ง

zk.delete_recursive('brokers')

ถ้าคุณต้องการลบหัวข้อทั้งหมดออกจาก Kafka

ในการล้างข้อความทั้งหมดจากหัวข้อเฉพาะโดยใช้กลุ่มแอปพลิเคชันของคุณ (GroupName ควรเป็นชื่อกลุ่มแอปพลิเคชัน kafka)

./kafka-path/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic topicName --from-beginning --group application-group

การปฏิบัติตาม @steven appleyard ตอบฉันดำเนินการคำสั่งต่อไปนี้บน Kafka 2.2.0 และพวกเขาทำงานให้ฉัน

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --describe

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --alter --add-config retention.ms=1000

bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name <topic-name> --alter --delete-config retention.ms

คำตอบที่ดีมากมายที่นี่ แต่ในหมู่พวกเขาฉันไม่พบคำตอบเกี่ยวกับนักเทียบท่า ฉันใช้เวลาคิดออกว่าการใช้ตู้เก็บของนายหน้านั้นผิดสำหรับกรณีนี้ (ชัด !!!)

## this is wrong!
docker exec broker1 kafka-topics --zookeeper localhost:2181 --alter --topic mytopic --config retention.ms=1000

Exception in thread "main" kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING
        at kafka.zookeeper.ZooKeeperClient.$anonfun$waitUntilConnected$3(ZooKeeperClient.scala:258)
        at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
        at kafka.utils.CoreUtils$.inLock(CoreUtils.scala:253)
        at kafka.zookeeper.ZooKeeperClient.waitUntilConnected(ZooKeeperClient.scala:254)
        at kafka.zookeeper.ZooKeeperClient.<init>(ZooKeeperClient.scala:112)
        at kafka.zk.KafkaZkClient$.apply(KafkaZkClient.scala:1826)
        at kafka.admin.TopicCommand$ZookeeperTopicService$.apply(TopicCommand.scala:280)
        at kafka.admin.TopicCommand$.main(TopicCommand.scala:53)
        at kafka.admin.TopicCommand.main(TopicCommand.scala)

และฉันควรจะใช้zookeeper:2181แทน--zookeeper localhost:2181ไฟล์เขียนของฉัน

## this might be an option, but as per comment below not all zookeeper images can have this script included
docker exec zookeper1 kafka-topics --zookeeper localhost:2181 --alter --topic mytopic --config retention.ms=1000

คำสั่งที่ถูกต้องจะเป็น

docker exec broker1 kafka-configs --zookeeper zookeeper:2181 --alter --entity-type topics --entity-name dev_gdn_urls --add-config retention.ms=12800000

หวังว่ามันจะช่วยประหยัดเวลาของใครบางคน

นอกจากนี้โปรดทราบว่าข้อความจะไม่ถูกลบทันทีและจะเกิดขึ้นเมื่อส่วนของบันทึกจะถูกปิด

ไม่สามารถเพิ่มเป็นความคิดเห็นได้เนื่องจากขนาด: ไม่แน่ใจว่านี่เป็นความจริงนอกเหนือจากการอัปเดตการเก็บข้อมูลและการเก็บข้อมูลเป็นไบต์ แต่ฉันสังเกตเห็นนโยบายการล้างข้อมูลหัวข้อควรเป็น "ลบ" (ค่าเริ่มต้น) กดค้างไว้ที่ข้อความที่ยาวกว่านั่นคือหากเป็น "กะทัดรัด" คุณต้องระบุdelete.retention.msด้วย

./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name test-topic-3-100 --entity-type topics
Configs for topics:test-topic-3-100 are retention.ms=1000,delete.retention.ms=10000,cleanup.policy=delete,retention.bytes=1

นอกจากนี้ยังมีการตรวจสอบที่เร็วที่สุด / offsets ล่าสุดควรจะเหมือนกันเพื่อยืนยันว่าสิ่งนี้เกิดขึ้นเรียบร้อยแล้วยังสามารถตรวจสอบ du -h / tmp / kafka-logs / test-topic-3-100- *

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "BROKER:9095" --topic test-topic-3-100 --time -1 | awk -F ":" '{sum += $3} END {print sum}' 26599762

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list "BROKER:9095" --topic test-topic-3-100 --time -2 | awk -F ":" '{sum += $3} END {print sum}' 26599762

ปัญหาอื่นคือคุณต้องรับค่าปัจจุบันก่อนดังนั้นอย่าลืมเปลี่ยนกลับหลังจากการลบสำเร็จ: ./bin/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-name test-topic-3-100 --entity-type topics

วิธีการอื่นในการลบหัวข้อด้วยตนเองคือ:

ในโบรกเกอร์:

1. หยุดนายหน้าคาฟคา
   sudo service kafka stop
2. ลบไฟล์บันทึกพาร์ติชันทั้งหมด (ควรทำกับโบรกเกอร์ทั้งหมด)
   sudo rm -R /kafka-storage/kafka-logs/<some_topic_name>-*

ใน zookeeper:

3. รันอินเตอร์เฟสบรรทัดคำสั่ง zookeeper
   sudo /usr/lib/zookeeper/bin/zkCli.sh
4. ใช้ zkCli เพื่อลบข้อมูลเมตาของหัวข้อ
   rmr /brokers/topic/<some_topic_name>

ในโบรกเกอร์อีกครั้ง:

5. เริ่มบริการนายหน้า
   sudo service kafka start

./kafka-topics.sh --describe --zookeeper zkHost:2181 --topic myTopic

สิ่งนี้ควรให้retention.msการกำหนดค่า จากนั้นคุณสามารถใช้คำสั่งแก้ไขข้างต้นเพื่อเปลี่ยนเป็น 1 วินาที (และเปลี่ยนกลับเป็นค่าเริ่มต้นในภายหลัง)

Topic:myTopic   PartitionCount:6        ReplicationFactor:1     Configs:retention.ms=86400000

จาก Java ให้ใช้ใหม่AdminZkClientแทนการเลิกใช้AdminUtils:

  public void reset() {
    try (KafkaZkClient zkClient = KafkaZkClient.apply("localhost:2181", false, 200_000,
        5000, 10, Time.SYSTEM, "metricGroup", "metricType")) {

      for (Map.Entry<String, List<PartitionInfo>> entry : listTopics().entrySet()) {
        deleteTopic(entry.getKey(), zkClient);
      }
    }
  }

  private void deleteTopic(String topic, KafkaZkClient zkClient) {

    // skip Kafka internal topic
    if (topic.startsWith("__")) {
      return;
    }

    System.out.println("Resetting Topic: " + topic);
    AdminZkClient adminZkClient = new AdminZkClient(zkClient);
    adminZkClient.deleteTopic(topic);

    // deletions are not instantaneous
    boolean success = false;
    int maxMs = 5_000;
    while (maxMs > 0 && !success) {
      try {
        maxMs -= 100;
        adminZkClient.createTopic(topic, 1, 1, new Properties(), null);
        success = true;
      } catch (TopicExistsException ignored) {
      }
    }

    if (!success) {
      Assert.fail("failed to create " + topic);
    }
  }

  private Map<String, List<PartitionInfo>> listTopics() {
    Properties props = new Properties();
    props.put("bootstrap.servers", kafkaContainer.getBootstrapServers());
    props.put("group.id", "test-container-consumer-group");
    props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
    props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

    KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
    Map<String, List<PartitionInfo>> topics = consumer.listTopics();
    consumer.close();

    return topics;
  }