โปรแกรม Spark Kill Running

ฉันมีแอปพลิเคชัน Spark ที่ใช้งานอยู่ซึ่งมันครอบครองแกนทั้งหมดโดยที่แอปพลิเคชันอื่น ๆ ของฉันจะไม่ได้รับการจัดสรรทรัพยากรใด ๆ

ฉันทำการวิจัยอย่างรวดเร็วและมีคนแนะนำให้ใช้ YARN kill หรือ / bin / spark-class เพื่อฆ่าคำสั่ง อย่างไรก็ตามฉันใช้เวอร์ชัน CDH และ / bin / spark-class ไม่มีอยู่เลยแอปพลิเคชัน YARN kill ก็ไม่ทำงานเช่นกัน

ใครสามารถกับฉันด้วยสิ่งนี้?

• คัดลอกรหัสแอปพลิเคชันที่ผ่านมาจากตัวกำหนดเวลาจุดประกายเช่นapplication_1428487296152_25597
• เชื่อมต่อกับเซิร์ฟเวอร์ที่เปิดใช้งาน
• yarn application -kill application_1428487296152_25597

อาจใช้เวลานานในการรับรหัสแอปพลิเคชันทั้งหมดจาก YARN และฆ่าทีละรายการ คุณสามารถใช้ Bash for loop เพื่อทำงานซ้ำ ๆ ให้สำเร็จได้อย่างรวดเร็วและมีประสิทธิภาพมากขึ้นดังที่แสดงด้านล่าง:

ฆ่าแอปพลิเคชันทั้งหมดบน YARN ซึ่งอยู่ในสถานะ ACCEPTED:

for x in $(yarn application -list -appStates ACCEPTED | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

ฆ่าแอปพลิเคชันทั้งหมดบน YARN ซึ่งอยู่ในสถานะ RUNNING:

for x in $(yarn application -list -appStates RUNNING | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Application_State_API

ใส่ http: // {rm http address: port} / ws / v1 / cluster / apps / {appid} / state

{
  "state":"KILLED"
}

นี่อาจไม่ใช่วิธีแก้ปัญหาที่ถูกต้องตามหลักจริยธรรม แต่จะช่วยในสภาพแวดล้อมที่คุณไม่สามารถเข้าถึงคอนโซลเพื่อฆ่างานโดยใช้คำสั่ง yarn application

ขั้นตอนคือ

ไปที่หน้าหลักแอปพลิเคชันของงานจุดประกาย คลิกที่ส่วนงาน คลิกที่ขั้นตอนที่ใช้งานอยู่ของงานที่ใช้งานอยู่ คุณจะเห็นปุ่ม "ฆ่า" ถัดจากขั้นตอนที่ใช้งานอยู่

สิ่งนี้จะได้ผลหากขั้นตอนที่ประสบความสำเร็จขึ้นอยู่กับระยะที่กำลังทำงานอยู่ แม้ว่าจะทำเครื่องหมายงานว่า "ถูกฆ่าโดยผู้ใช้"

ใช้ครั้งแรก:

yarn application -list

จดรหัสแอปพลิเคชันจากนั้นเพื่อฆ่าใช้:

yarn application -kill application_id