คำถามติดแท็ก spark-submit

ฉันต้องการหยุดข้อความต่าง ๆ ที่กำลังมาบน spark shell ฉันพยายามแก้ไข log4j.propertiesไฟล์เพื่อหยุดข้อความเหล่านี้ นี่คือเนื้อหาของ log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # Settings to quiet third party logs that are too verbose log4j.logger.org.eclipse.jetty=WARN log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO แต่ข้อความยังคงปรากฏบนคอนโซล นี่คือตัวอย่างข้อความ 15/01/05 15:11:45 INFO SparkEnv: Registering BlockManagerMaster …

181 apache-spark  log4j  spark-submit 

จริง ... มีการพูดคุยกันค่อนข้างมาก อย่างไรก็ตามมีความคลุมเครือจำนวนมากและบางคำตอบที่ให้ ... รวมถึงการอ้างอิง jar ซ้ำในการกำหนดค่า jars / executor / driver หรือตัวเลือก รายละเอียดที่ไม่ชัดเจนและ / หรือละเว้น ควรอธิบายรายละเอียดที่คลุมเครือไม่ชัดเจนและ / หรือละเว้นสำหรับแต่ละตัวเลือก: ClassPath ได้รับผลกระทบอย่างไร คนขับรถ ผู้บริหาร (สำหรับงานที่กำลังทำงาน) ทั้งสอง ไม่ใช่เลย อักขระการแยก: จุลภาคเครื่องหมายโคลอนอัฒภาค หากมีการแจกจ่ายไฟล์โดยอัตโนมัติ สำหรับงาน (สำหรับผู้บริหารแต่ละคน) สำหรับไดรเวอร์ระยะไกล (หากทำงานในโหมดคลัสเตอร์) ประเภทของ URI ที่ยอมรับ: ไฟล์โลคอล, hdfs, http และอื่น ๆ หากคัดลอกไปยังตำแหน่งทั่วไปตำแหน่งนั้นอยู่ที่ไหน (hdfs, local?) ตัวเลือกที่มีผลต่อ: --jars SparkContext.addJar(...) วิธี SparkContext.addFile(...) …

158 java  scala  apache-spark  jar  spark-submit