คำถามติดแท็ก partitioning

ในคาฟคาฉันต้องการใช้เพียงโบรกเกอร์เดียวหัวข้อเดียวและพาร์ติชันเดียวที่มีผู้ผลิตรายเดียวและผู้บริโภคหลายราย (ผู้บริโภคแต่ละรายจะได้รับสำเนาข้อมูลของตัวเองจากนายหน้า) ด้วยเหตุนี้ฉันไม่ต้องการค่าใช้จ่ายในการใช้ Zookeeper ใช้แค่นายหน้าอย่างเดียวไม่ได้หรือ? ทำไม Zookeeper ถึงต้อง?

136 partitioning  apache-zookeeper  producer-consumer  apache-kafka  broker 

ฉันเริ่มใช้ Spark SQL และ DataFrames ใน Spark 1.4.0 ฉันต้องการกำหนดพาร์ติชันเนอร์ที่กำหนดเองบน DataFrames ใน Scala แต่ไม่เห็นวิธีการทำเช่นนี้ หนึ่งในตารางข้อมูลที่ฉันกำลังใช้งานประกอบด้วยรายการธุรกรรมตามบัญชีซิลิมาร์ดังตัวอย่างต่อไปนี้ Account Date Type Amount 1001 2014-04-01 Purchase 100.00 1001 2014-04-01 Purchase 50.00 1001 2014-04-05 Purchase 70.00 1001 2014-04-01 Payment -150.00 1002 2014-04-01 Purchase 80.00 1002 2014-04-02 Purchase 22.00 1002 2014-04-04 Payment -120.00 1002 2014-04-04 Purchase 60.00 …

129 scala  apache-spark  dataframe  apache-spark-sql  partitioning