จุดประกาย - ข้อผิดพลาด“ ต้องตั้งค่า URL หลักในการกำหนดค่าของคุณ” เมื่อส่งแอป

ฉันมีแอป Spark ที่ทำงานโดยไม่มีปัญหาในโหมดโลคัล แต่มีปัญหาบางอย่างเมื่อส่งไปยังคลัสเตอร์ Spark

ข้อความแสดงข้อผิดพลาดมีดังนี้:

16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 2.0 in stage 0.0 (TID 2, cluster-node-02): java.lang.ExceptionInInitializerError
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390)
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.apache.spark.scheduler.Task.run(Task.scala:89)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.spark.SparkException: A master URL must be set in your configuration
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
    at GroupEvolutionES$.<init>(GroupEvolutionES.scala:37)
    at GroupEvolutionES$.<clinit>(GroupEvolutionES.scala)
    ... 14 more

16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 5.0 in stage 0.0 (TID 5, cluster-node-02): java.lang.NoClassDefFoundError: Could not initialize class GroupEvolutionES$
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579)
    at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390)
    at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:1858)
    at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
    at org.apache.spark.scheduler.Task.run(Task.scala:89)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

ในโค้ดด้านบนGroupEvolutionESเป็นคลาสหลัก ผงชูรสข้อผิดพลาดว่า "URL ที่ต้นแบบจะต้องตั้งค่าในการกำหนดค่าของคุณ" แต่ผมได้ให้ "--master" spark-submitพารามิเตอร์

ใครที่รู้วิธีแก้ไขปัญหานี้

รุ่น Spark: 1.6.1

วัตถุ sparkContext ถูกกำหนดไว้ที่ใดอยู่ภายในฟังก์ชันหลักหรือไม่

ฉันก็ประสบปัญหาเดียวกันเช่นกันความผิดพลาดที่ฉันทำคือฉันเริ่มต้น sparkContext นอกฟังก์ชันหลักและภายในคลาส

เมื่อฉันเริ่มต้นภายในฟังก์ชั่นหลักมันก็ทำงานได้ดี

TLDR:

.config("spark.master", "local")

รายการตัวเลือกสำหรับ spark.master ใน spark 2.2.1

ฉันจบลงในหน้านี้หลังจากพยายามเรียกใช้โปรแกรม Spark SQL java แบบธรรมดาในโหมดโลคัล ในการทำเช่นนี้ฉันพบว่าฉันสามารถตั้ง spark.master โดยใช้:

SparkSession spark = SparkSession
.builder()
.appName("Java Spark SQL basic example")
.config("spark.master", "local")
.getOrCreate();

การอัปเดตคำตอบของฉัน:

เพื่อความชัดเจนนี่ไม่ใช่สิ่งที่คุณควรทำในสภาพแวดล้อมการผลิต ในสภาพแวดล้อมการผลิตควรระบุ spark.master ไว้ในที่อื่น ๆ สองแห่ง: ใน $ SPARK_HOME / conf / spark-defaults.conf (ซึ่งเป็นที่ที่ตัวจัดการ cloudera จะวางไว้) หรือในบรรทัดคำสั่งเมื่อคุณส่ง แอป (เช่น spark-submit --master yarn)

หากคุณระบุ spark.master เป็น 'local' ด้วยวิธีนี้ spark จะพยายามรันใน jvm เดียวตามที่ระบุไว้ในความคิดเห็นด้านล่าง หากคุณพยายามระบุ --deploy-mode คลัสเตอร์คุณจะได้รับข้อผิดพลาด 'Cluster deploy mode is not compatible with master "local"' เนื่องจากการตั้งค่า spark.master = local หมายความว่าคุณไม่ได้ทำงานในโหมดคลัสเตอร์

สำหรับแอปที่ใช้งานจริงภายในฟังก์ชันหลักของคุณ (หรือในฟังก์ชันที่เรียกโดยฟังก์ชันหลักของคุณ) คุณควรใช้:

SparkSession
.builder()
.appName("Java Spark SQL basic example")
.getOrCreate();

สิ่งนี้จะใช้การกำหนดค่าที่ระบุในบรรทัดคำสั่ง / ในไฟล์กำหนดค่า

นอกจากนี้เพื่อความชัดเจนในเรื่องนี้ด้วย: --master และ "spark.master" เป็นพารามิเตอร์เดียวกันทุกประการเพียงระบุในรูปแบบที่แตกต่างกัน การตั้งค่า spark.master ในโค้ดเช่นเดียวกับในคำตอบของฉันด้านบนจะแทนที่ความพยายามในการตั้งค่า --master และจะแทนที่ค่าใน spark-defaults.conf ดังนั้นอย่าทำในการผลิต เหมาะสำหรับการทดสอบ

ดูคำตอบนี้ด้วย ซึ่งเชื่อมโยงไปยังรายการตัวเลือกสำหรับ spark.masterและสิ่งที่แต่ละคนทำจริง

รายการตัวเลือกสำหรับ spark.master ใน spark 2.2.1

ทำงานให้ฉันหลังจากเปลี่ยน

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME");

ด้วย

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[2]").set("spark.executor.memory","1g");

พบโซลูชันนี้ในเธรดอื่น ๆ บน stackoverflow

ค่าดีฟอลต์ของ "spark.master" คือ spark: // HOST: PORT และโค้ดต่อไปนี้จะพยายามรับเซสชันจากคลัสเตอร์แบบสแตนด์อโลนที่รันที่HOST: PORTและคาดว่าค่า HOST: PORT จะอยู่ใน ไฟล์ config spark

SparkSession spark = SparkSession
    .builder()
    .appName("SomeAppName")
    .getOrCreate();

" org.apache.spark.SparkException: ต้องตั้งค่า URL หลักในการกำหนดค่าของคุณ " ระบุว่าไม่ได้ตั้งค่าHOST: PORTในไฟล์คอนฟิกูเรชัน spark

เพื่อไม่ต้องกังวลเกี่ยวกับค่าของ "HOST: PORT" ให้ตั้งspark.masterเป็นlocal

SparkSession spark = SparkSession
    .builder()
    .appName("SomeAppName")
    .config("spark.master", "local")
    .getOrCreate();

นี่คือลิงค์สำหรับรายการรูปแบบที่สามารถส่งผ่าน URL หลักไปยัง spark.master

ข้อมูลอ้างอิง: Spark Tutorial - ตั้งค่า Spark Ecosystem

เพียงแค่เพิ่ม.setMaster("local")รหัสของคุณตามที่แสดงด้านล่าง:

val conf = new SparkConf().setAppName("Second").setMaster("local") 

มันได้ผลสำหรับฉัน! ขอให้สนุกกับการเขียนโค้ด!

หากคุณใช้งานแอปพลิเคชันแบบสแตนด์อโลนคุณต้องใช้SparkContextแทนไฟล์SparkSession

val conf = new SparkConf().setAppName("Samples").setMaster("local")
val sc = new SparkContext(conf)
val textData = sc.textFile("sample.txt").cache()

บริบทจุดประกายในแอปพลิเคชันของคุณเลือกค่าสำหรับ spark master อย่างไร

• คุณต้องระบุอย่างชัดเจนด้วยSparkConfการสร้าง SC
• หรือเลือกจากSystem.getProperties(ที่ SparkSubmit วางไว้ก่อนหน้านี้หลังจากอ่าน--masterอาร์กิวเมนต์ของคุณ)

ตอนนี้SparkSubmitรันบนไดรเวอร์ - ซึ่งในกรณีของคุณคือเครื่องที่คุณเรียกใช้spark-submitสคริปต์ และนี่อาจทำงานได้ตามที่คุณคาดไว้เช่นกัน

อย่างไรก็ตามจากข้อมูลที่คุณโพสต์ดูเหมือนว่าคุณกำลังสร้างบริบทจุดประกายในโค้ดที่ส่งไปยังตัวดำเนินการ - และเนื่องจากไม่มีspark.masterคุณสมบัติของระบบที่นั่นจึงล้มเหลว (และคุณไม่ควรทำเช่นนั้นจริงๆหากเป็นกรณีนี้)

กรุณาโพสต์GroupEvolutionESรหัส (เฉพาะที่ที่คุณสร้างSparkContext(s))

การเปลี่ยน:

SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME");
WITH
SparkConf sparkConf = new SparkConf().setAppName("SOME APP NAME").setMaster("local[2]").set("spark.executor.memory","1g");

ทำเวทมนตร์

ฉันมีปัญหาเดียวกันนี่คือรหัสของฉันก่อนแก้ไข:

package com.asagaama

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD

/**
  * Created by asagaama on 16/02/2017.
  */
object Word {

  def countWords(sc: SparkContext) = {
    // Load our input data
    val input = sc.textFile("/Users/Documents/spark/testscase/test/test.txt")
    // Split it up into words
    val words = input.flatMap(line => line.split(" "))
    // Transform into pairs and count
    val counts = words.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }
    // Save the word count back out to a text file, causing evaluation.
    counts.saveAsTextFile("/Users/Documents/spark/testscase/test/result.txt")
  }

  def main(args: Array[String]) = {
    val conf = new SparkConf().setAppName("wordCount")
    val sc = new SparkContext(conf)
    countWords(sc)
  }

}

และหลังจากเปลี่ยน:

val conf = new SparkConf().setAppName("wordCount")

ด้วย:

val conf = new SparkConf().setAppName("wordCount").setMaster("local[*]")

มันทำงานได้ดี!

var appName:String ="test"
val conf = new SparkConf().setAppName(appName).setMaster("local[*]").set("spark.executor.memory","1g");
val sc =  SparkContext.getOrCreate(conf)
sc.setLogLevel("WARN")

ลองดู

สร้างลักษณะ

import org.apache.spark.sql.SparkSession
trait SparkSessionWrapper {
   lazy val spark:SparkSession = {
      SparkSession
        .builder()
        .getOrCreate()
    }
}

ขยายมัน

object Preprocess extends SparkSessionWrapper {

เราไม่มีsetMaster ("local [*]") ที่จะตั้งค่า เมื่อเราเพิ่มแล้วปัญหาจะได้รับการแก้ไข

ปัญหา:

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()

วิธีการแก้:

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .master("local[*]")
      .getOrCreate()

หากคุณใช้รหัสต่อไปนี้

 val sc = new SparkContext(master, "WordCount", System.getenv("SPARK_HOME"))

จากนั้นแทนที่ด้วยบรรทัดต่อไปนี้

  val jobName = "WordCount";
  val conf = new SparkConf().setAppName(jobName);
  val sc = new SparkContext(conf)

ใน Spark 2.0 คุณสามารถใช้รหัสต่อไปนี้

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .master("local[*]")// need to add
  .getOrCreate()

คุณต้องเพิ่ม. master ("local [*]") หากเรียกใช้ local ที่นี่ * หมายถึงโหนดทั้งหมดคุณสามารถพูดได้ว่า insted จาก 8 1,2 เป็นต้น

คุณต้องตั้งค่า Master URL หากอยู่ในคลัสเตอร์

หากคุณไม่ได้ระบุคอนฟิกูเรชัน Spark ใน JavaSparkContext คุณจะได้รับข้อผิดพลาดนี้ นั่นคือ: JavaSparkContext sc = JavaSparkContext ใหม่ ();

วิธีแก้ไข: จัดเตรียม JavaSparkContext sc = new JavaSparkContext (conf);

ลองใช้ตัวเลือกนี้ในการเรียนรู้การประมวลผล Spark ด้วยการตั้งค่าบริบท Spark ในเครื่องท้องถิ่น Requisite 1) ให้ Spark sessionr ทำงานในโลคัล 2) เพิ่ม Spark maven dependency 3) เก็บไฟล์อินพุตไว้ที่ root \ input folder 4) เอาต์พุตจะถูกวางไว้ที่โฟลเดอร์ \ output รับมูลค่าหุ้นสูงสุดสำหรับปี โหลด CSV ใด ๆ จาก yahoo finance https://in.finance.yahoo.com/quote/CAPPL.BO/history/ Maven dependency และรหัส Scala ด้านล่าง -

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.4.3</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>   

object MaxEquityPriceForYear {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("ShareMaxPrice").setMaster("local[2]").set("spark.executor.memory", "1g");
    val sc = new SparkContext(sparkConf);
    val input = "./input/CAPPL.BO.csv"
    val output = "./output"
    sc.textFile(input)
      .map(_.split(","))
      .map(rec => ((rec(0).split("-"))(0).toInt, rec(1).toFloat))
      .reduceByKey((a, b) => Math.max(a, b))
      .saveAsTextFile(output)
  }

ฉันใช้ตัวสร้าง SparkContext แทนและข้อผิดพลาดหายไป:

val sc = new SparkContext("local[*]", "MyApp")