คำถามติดแท็ก yarn

ฉันพยายามที่จะเข้าใจความสัมพันธ์ของจำนวนคอร์และจำนวนผู้บริหารเมื่อทำการรันงาน Spark บน YARN สภาพแวดล้อมการทดสอบมีดังนี้: จำนวนโหนดข้อมูล: 3 ข้อมูลจำเพาะของเครื่องโหนดข้อมูล: CPU: Core i7-4790 (จำนวนแกน: 4, จำนวนเธรด: 8) RAM: 32GB (8GB x 4) HDD: 8TB (2TB x 4) เครือข่าย: 1Gb รุ่น Spark: 1.0.0 รุ่น Hadoop: 2.4.0 (Hortonworks HDP 2.1) Spark job flow: sc.textFile -> filter -> map -> filter -> mapToPair -> ลดByKey …

194 hadoop  apache-spark  yarn 

ฉันมีแอปพลิเคชัน Spark ที่ใช้งานอยู่ซึ่งมันครอบครองแกนทั้งหมดโดยที่แอปพลิเคชันอื่น ๆ ของฉันจะไม่ได้รับการจัดสรรทรัพยากรใด ๆ ฉันทำการวิจัยอย่างรวดเร็วและมีคนแนะนำให้ใช้ YARN kill หรือ / bin / spark-class เพื่อฆ่าคำสั่ง อย่างไรก็ตามฉันใช้เวอร์ชัน CDH และ / bin / spark-class ไม่มีอยู่เลยแอปพลิเคชัน YARN kill ก็ไม่ทำงานเช่นกัน ใครสามารถกับฉันด้วยสิ่งนี้?

105 apache-spark  yarn  pyspark 

ใน Hadoop v1 ฉันได้กำหนดตัวทำแผนที่และช่องตัวลดจำนวน 7 ช่องที่มีขนาด 1GB ตัวทำแผนที่และตัวลดขนาดของฉันทำงานได้ดี เครื่องของฉันมีหน่วยความจำ 8G โปรเซสเซอร์ 8 ตัว ตอนนี้ด้วย YARN เมื่อเรียกใช้แอปพลิเคชันเดียวกันบนเครื่องเดียวกันฉันได้รับข้อผิดพลาดเกี่ยวกับคอนเทนเนอร์ โดยค่าเริ่มต้นฉันมีการตั้งค่านี้: <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>1024</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>8192</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>8192</value> </property> มันทำให้ฉันมีข้อผิดพลาด: Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond virtual memory limits. Current usage: 1.2 GB of 1 GB physical memory used; 2.2 GB …

85 hadoop  mapreduce  yarn  mrv2