คำถามติดแท็ก apache-kafka

ฉันใช้ apache kafka ในการส่งข้อความ ฉันได้ใช้งานผู้ผลิตและผู้บริโภคใน Java เราจะรับจำนวนข้อความในหัวข้อได้อย่างไร?

93 java  messages  apache-kafka 

ปิด . คำถามนี้จะต้องมีมากขึ้นมุ่งเน้น ขณะนี้ยังไม่ยอมรับคำตอบ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เน้นไปที่ปัญหาเดียวโดยแก้ไขโพสต์นี้เท่านั้น ปิดให้บริการใน4 เดือนที่ผ่านมา ปรับปรุงคำถามนี้ Redis สามารถใช้เป็นผับย่อยแบบเรียลไทม์ได้เช่นเดียวกับ Kafka ฉันสับสนว่าจะใช้อันไหนดีเมื่อไหร่ กรณีการใช้งานใด ๆ จะช่วยได้มาก

91 redis  apache-kafka  publish-subscribe 

มีวิธีลบข้อมูลทั้งหมดจากหัวข้อหรือลบหัวข้อก่อนการรันทุกครั้งหรือไม่? ฉันสามารถแก้ไขไฟล์ KafkaConfig.scala เพื่อเปลี่ยนlogRetentionHoursคุณสมบัติได้หรือไม่ มีวิธีลบข้อความทันทีที่ผู้บริโภคอ่านหรือไม่? ฉันใช้ผู้ผลิตเพื่อดึงข้อมูลจากที่ใดที่หนึ่งและส่งข้อมูลไปยังหัวข้อเฉพาะที่ผู้บริโภคบริโภคฉันสามารถลบข้อมูลทั้งหมดจากหัวข้อนั้นทุกครั้งที่เรียกใช้ได้หรือไม่ ฉันต้องการเพียงข้อมูลใหม่ทุกครั้งในหัวข้อ มีวิธีในการเริ่มต้นหัวข้อใหม่หรือไม่?

89 apache-kafka  apache-zookeeper 

ปิด คำถามนี้จะต้องมีมากขึ้นมุ่งเน้น ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้มุ่งเน้นที่ปัญหาเดียวโดยแก้ไขโพสต์นี้ ปิด3 วันที่ผ่านมา ฉันไปสัมภาษณ์วิศวกรข้อมูล ผู้สัมภาษณ์ถามคำถามฉัน เขาให้สถานการณ์ฉันและขอให้ฉันออกแบบการไหลของข้อมูลสำหรับระบบนั้น ฉันแก้ไขมันได้ แต่เขาไม่ชอบวิธีแก้ปัญหาของฉันและฉันล้มเหลว ฉันอยากจะรู้ว่าถ้าคุณมีความคิดที่ดีกว่าวิธีการแก้ปัญหาที่ท้าทาย คำถามคือ: ระบบของเราได้รับข้อมูลสี่สตรีม ข้อมูลมีรหัสยานพาหนะความเร็วและการประสานตำแหน่งทางภูมิศาสตร์ ทุก vihicle ส่งข้อมูลของมันหนึ่งครั้งต่อนาที ไม่มีการเชื่อมต่อระหว่างสตรีมที่เฉพาะเจาะจงกับถนนหรือถนนหรือสิ่งอื่นใด มีฟังก์ชั่นที่ยอมรับการเรียงลำดับและส่งคืนชื่อส่วนถนน เราจำเป็นต้องรู้ความเร็วของการละควาต่อส่วนถนนต่อ 5 นาที ในที่สุดเราต้องการเขียนผลลัพธ์ไปยังคาฟคา ดังนั้นทางออกของฉันคือ: ขั้นแรกให้เขียนข้อมูลทั้งหมดลงในคลัสเตอร์คาฟคาลงในหัวข้อเดียวโดยแบ่งเป็นละติจูดแรก 5-6 หลักของละติจูดที่ต่อกันกับละติจูดแรก 5-6 หลัก จากนั้นอ่านข้อมูลโดยการสตรีมมิ่งแบบมีโครงสร้างเพิ่มชื่อแถวส่วนถนนโดยการเรียงลำดับ (มี udf ที่กำหนดไว้ล่วงหน้าสำหรับแต่ละแถว) จากนั้นทำการจัดเรียงข้อมูลตามชื่อส่วนถนน เนื่องจากฉันแบ่งพาร์ติชันข้อมูลในคาฟคาโดยการเรียงตัวที่ 5-6 หลักหลังจากแปลการเรียงลำดับเป็นชื่อส่วนแล้วไม่จำเป็นต้องถ่ายโอนข้อมูลจำนวนมากไปยังพาร์ติชันที่ถูกต้องและดังนั้นฉันจึงสามารถใช้ประโยชน์จากการดำเนินการ colesce () ที่ไม่ก่อให้เกิดการสลับแบบเต็ม จากนั้นคำนวณความเร็วเฉลี่ยต่อผู้ปฏิบัติการ กระบวนการทั้งหมดจะเกิดขึ้นทุก 5 นาทีและเราจะเขียนข้อมูลในโหมดผนวกไปยังอ่างล้างจานคาฟคาสุดท้าย ดังนั้นอีกครั้งผู้สัมภาษณ์ไม่ชอบวิธีแก้ไขของฉัน ใครช่วยแนะนำวิธีการปรับปรุงหรือความคิดที่แตกต่างอย่างสมบูรณ์และดีกว่า?

20 apache-spark  apache-kafka  stream-processing 

ฉันใช้ Confluent.Kafka .NET ไคลเอ็นต์เวอร์ชัน 1.3.0 ฉันกำลังติดตามเอกสาร : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol = SecurityProtocol.SaslPlaintext, SaslMechanism = SaslMechanism.Plain, SaslUsername = this.kafkaUsername, SaslPassword = this.kafkaPassword, }; using (var consumer = new ConsumerBuilder<Ignore, string>(consumerConfig).Build()) { …

10 c#  apache-kafka  kafka-consumer-api 

ฉันได้รับ FETCH_SESSION_ID_NOT_FOUND อย่างต่อเนื่อง ฉันไม่แน่ใจว่าทำไมมันเกิดขึ้น ทุกคนได้โปรดให้ฉันมาที่นี่ว่าปัญหาคืออะไรและสิ่งที่จะส่งผลกระทบต่อผู้บริโภคและโบรกเกอร์ บันทึกเซิร์ฟเวอร์ Kafka: INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND. INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with …

9 apache-kafka 

ฉันมีแอพที่เรียบง่ายมีสองฟังก์ชั่นหนึ่งฟังสำหรับหัวข้อและอื่น ๆ สำหรับเว็บปลายทาง ฉันต้องการสร้างการสตรีมเหตุการณ์เซิร์ฟเวอร์ (SSE) เช่นข้อความ / เหตุการณ์สตรีมเพื่อให้ลูกค้าสามารถฟังโดยใช้ EventSource ฉันมีรหัสต่อไปนี้ตอนนี้ที่แต่ละฟังก์ชันทำงานเฉพาะ: import faust from faust.web import Response app = faust.App("app1", broker="kafka://localhost:29092", value_serializer="raw") test_topic = app.topic("test") @app.agent(test_topic) async def test_topic_agent(stream): async for value in stream: print(f"test_topic_agent RECEIVED -- {value!r}") yield value @app.page("/") async def index(self, request): return self.text("yey") ตอนนี้ฉันต้องการในดัชนีบางอย่างเช่นรหัสนี้ แต่ใช้เฟาสต์: import asyncio …

9 python  python-3.x  apache-kafka  aiohttp  faust