ฉันพยายามเรียกใช้งานง่ายๆ NaiveBayesClassiferโดยใช้ hadoop รับข้อผิดพลาดนี้

Exception in thread "main" java.io.IOException: No FileSystem for scheme: file
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:180)
    at org.apache.hadoop.fs.Path.getFileSystem(Path.java:175)
    at org.apache.mahout.classifier.naivebayes.NaiveBayesModel.materialize(NaiveBayesModel.java:100)

รหัส:

    Configuration configuration = new Configuration();
    NaiveBayesModel model = NaiveBayesModel.materialize(new Path(modelPath), configuration);// error in this line..

modelPath ชี้ไปที่ NaiveBayes.binไฟล์และวัตถุการกำหนดค่ากำลังพิมพ์ -Configuration: core-default.xml, core-site.xml

ฉันคิดว่ามันเป็นเพราะขวดความคิดใด ๆ ?

นี่เป็นกรณีทั่วไปของmaven-assemblyปลั๊กอินที่ทำลายสิ่งต่างๆ

ทำไมสิ่งนี้ถึงเกิดขึ้นกับเรา

ขวดที่แตกต่างกัน ( hadoop-commonsสำหรับLocalFileSystem, hadoop-hdfsสำหรับDistributedFileSystem) แต่ละประกอบด้วยไฟล์ที่แตกต่างกันเรียกว่าorg.apache.hadoop.fs.FileSystemในพวกเขาMETA-INFO/servicesไดเรกทอรี ไฟล์นี้แสดงชื่อคลาสที่ยอมรับได้ของการใช้งานระบบไฟล์ที่พวกเขาต้องการประกาศ (เรียกว่า Service Provider Interface ที่ใช้งานผ่านjava.util.ServiceLoaderดูorg.apache.hadoop.FileSystem#loadFileSystems)

เมื่อเราใช้maven-assembly-pluginมันจะรวม JAR ทั้งหมดของเราเข้าด้วยกันและMETA-INFO/services/org.apache.hadoop.fs.FileSystemเขียนทับกัน เหลือเพียงไฟล์เดียวเท่านั้น (ไฟล์สุดท้ายที่เพิ่มเข้ามา) ในกรณีนี้FileSystemรายการจากhadoop-commonsเขียนทับรายการจากhadoop-hdfsจึงDistributedFileSystemไม่ถูกประกาศอีกต่อไป

เราแก้ไขอย่างไร

หลังจากโหลดการกำหนดค่า Hadoop แต่ก่อนที่จะทำอะไรFileSystemที่เกี่ยวข้องเราเรียกสิ่งนี้ว่า:

    hadoopConfig.set("fs.hdfs.impl", 
        org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()
    );
    hadoopConfig.set("fs.file.impl",
        org.apache.hadoop.fs.LocalFileSystem.class.getName()
    );

อัปเดต: การแก้ไขที่ถูกต้อง

ฉันได้รับความสนใจจากการkrookedkingที่มีวิธีการกำหนดค่าตามการmaven-assemblyใช้งานเวอร์ชันที่ผสานรวมของการFileSystemประกาศบริการทั้งหมดดูคำตอบของเขาด้านล่าง

สำหรับผู้ที่ใช้ปลั๊กอิน shade ตามคำแนะนำของ david_p คุณสามารถรวมบริการใน jar ที่แรเงาได้โดยเพิ่ม ServicesResourceTransformer ไปยังการกำหนดค่าปลั๊กอิน:

  <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>2.3</version>
    <executions>
      <execution>
        <phase>package</phase>
        <goals>
          <goal>shade</goal>
        </goals>
        <configuration>
          <transformers>
            <transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/>
          </transformers>
        </configuration>
      </execution>
    </executions>
  </plugin>

ซึ่งจะรวมบริการ org.apache.hadoop.fs.FileSystem ทั้งหมดไว้ในไฟล์เดียว

สำหรับบันทึกนี้ยังคงเกิดขึ้นใน hadoop 2.4.0 น่าหงุดหงิดจัง ...

ฉันสามารถทำตามคำแนะนำในลิงค์นี้: http://grokbase.com/t/cloudera/scm-users/1288xszz7r/no-filesystem-for-scheme-hdfs

ฉันเพิ่มสิ่งต่อไปนี้ใน core-site.xml ของฉันและใช้งานได้:

<property>
   <name>fs.file.impl</name>
   <value>org.apache.hadoop.fs.LocalFileSystem</value>
   <description>The FileSystem for file: uris.</description>
</property>

<property>
   <name>fs.hdfs.impl</name>
   <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
   <description>The FileSystem for hdfs: uris.</description>
</property>

ขอบคุณ david_p, scala

conf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName);
conf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName);

หรือ

<property>
 <name>fs.hdfs.impl</name>
 <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
</property>

ฉันใช้เวลาหลายปีในการคิดออกด้วย Spark 2.0.2 แต่นี่คือบิตของฉัน:

val sparkBuilder = SparkSession.builder
.appName("app_name")
.master("local")
// Various Params
.getOrCreate()

val hadoopConfig: Configuration = sparkBuilder.sparkContext.hadoopConfiguration

hadoopConfig.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)

hadoopConfig.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

และส่วนที่เกี่ยวข้องของฉันbuild.sbt:

scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.2"

ฉันหวังว่านี่จะช่วยได้!

สำหรับ maven เพียงเพิ่ม maven dependency สำหรับ hadoop-hdfs (ดูลิงค์ด้านล่าง) จะช่วยแก้ปัญหาได้

http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs/2.7.1

สมมติว่าคุณใช้ mvn และการแจกแจง cloudera ของ hadoop ฉันใช้ cdh4.6 และการเพิ่มการอ้างอิงเหล่านี้ใช้งานได้สำหรับฉันฉันคิดว่าคุณควรตรวจสอบเวอร์ชันของการอ้างอิง hadoop และ mvn

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>2.0.0-mr1-cdh4.6.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.0.0-cdh4.6.0</version>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.0.0-cdh4.6.0</version>
    </dependency>

อย่าลืมเพิ่มที่เก็บ cloudera mvn

<repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

ฉันใช้แอสเซมบลี sbt เพื่อรวมโปรเจ็กต์ของฉัน ฉันยังพบปัญหานี้ ทางออกของฉันอยู่ที่นี่ ขั้นตอนที่ 1: เพิ่มการผสาน META-INF ใน build.sbt ของคุณ

case PathList("META-INF", "MANIFEST.MF") => MergeStrategy.discard
case PathList("META-INF", ps @ _*) => MergeStrategy.first

ขั้นตอนที่ 2: เพิ่ม hadoop-hdfs lib ใน build.sbt

"org.apache.hadoop" % "hadoop-hdfs" % "2.4.0"

ขั้นที่ 3: sbt สะอาด; การประกอบ sbt

หวังว่าข้อมูลข้างต้นจะช่วยคุณได้

ฉันถือว่าคุณสร้างตัวอย่างโดยใช้ maven

โปรดตรวจสอบเนื้อหาของ JAR ที่คุณพยายามเรียกใช้ โดยเฉพาะอย่างยิ่งไดเรกทอรีไฟล์META-INFO/services org.apache.hadoop.fs.FileSystemควรมีรายการคลาสการใช้งานระบบฟิลม์ บรรทัดตรวจสอบorg.apache.hadoop.hdfs.DistributedFileSystemอยู่ในรายการสำหรับ HDFS และorg.apache.hadoop.fs.LocalFileSystemสำหรับโครงร่างไฟล์ในเครื่อง

หากเป็นกรณีนี้คุณต้องลบล้างทรัพยากรที่อ้างอิงในระหว่างการสร้าง

ความเป็นไปได้อื่น ๆ คือคุณไม่มีhadoop-hdfs.jarใน classpath ของคุณ แต่มีความเป็นไปได้ต่ำ โดยปกติแล้วหากคุณมีการhadoop-clientพึ่งพาที่ถูกต้องจะไม่ใช่ทางเลือก

สาเหตุที่เป็นไปได้อีกประการหนึ่ง (แม้ว่าคำถาม OPs จะไม่ประสบปัญหานี้) คือหากคุณสร้างอินสแตนซ์การกำหนดค่าที่ไม่โหลดค่าเริ่มต้น:

Configuration config = new Configuration(false);

หากคุณไม่โหลดค่าเริ่มต้นคุณจะไม่ได้รับการตั้งค่าเริ่มต้นสำหรับสิ่งต่างๆเช่นการFileSystemใช้งานซึ่งนำไปสู่ข้อผิดพลาดที่เหมือนกันเช่นนี้เมื่อพยายามเข้าถึง HDFS การเปลี่ยนไปใช้คอนสตรัคเตอร์แบบไม่มีพารามิเตอร์ของการส่งผ่านtrueไปยังโหลดดีฟอลต์อาจแก้ปัญหานี้ได้

นอกจากนี้หากคุณกำลังเพิ่มตำแหน่งคอนฟิกูเรชันแบบกำหนดเอง (เช่นบนระบบไฟล์) ให้กับConfigurationอ็อบเจ็กต์โปรดระวังว่าaddResource()คุณใช้โอเวอร์โหลดใด ตัวอย่างเช่นถ้าคุณใช้addResource(String)Hadoop จะถือว่าสตริงเป็นทรัพยากรพา ธ คลาสหากคุณต้องการระบุไฟล์โลคัลให้ลองทำดังต่อไปนี้:

File configFile = new File("example/config.xml");
config.addResource(new Path("file://" + configFile.getAbsolutePath()));

ฉันต้องใช้เวลาพอสมควรในการหาทางแก้ไขจากคำตอบที่ได้รับเนื่องจากเพิ่งคลอด นี่คือสิ่งที่ฉันคิดขึ้นมาหากใครต้องการความช่วยเหลือตั้งแต่แรก:

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object MyObject {
  def main(args: Array[String]): Unit = {

    val mySparkConf = new SparkConf().setAppName("SparkApp").setMaster("local[*]").set("spark.executor.memory","5g");
    val sc = new SparkContext(mySparkConf)

    val conf = sc.hadoopConfiguration

    conf.set("fs.hdfs.impl", classOf[org.apache.hadoop.hdfs.DistributedFileSystem].getName)
    conf.set("fs.file.impl", classOf[org.apache.hadoop.fs.LocalFileSystem].getName)

ฉันใช้ Spark 2.1

และฉันมีส่วนนี้ในไฟล์ build.sbt

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case x => MergeStrategy.first
}

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://nameNode:9000");
FileSystem fs = FileSystem.get(conf);

ตั้งค่า fs.defaultFS ได้ผลสำหรับฉัน! Hadoop-2.8.1

สำหรับ SBT ให้ใช้ด้านล่าง mergeStrategy ใน build.sbt

mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) => {
    case PathList("META-INF", "services", "org.apache.hadoop.fs.FileSystem") => MergeStrategy.filterDistinctLines
    case s => old(s)
  }
}

ใช้ปลั๊กอินนี้

<plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>1.5</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>

                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                            <shadedArtifactAttached>true</shadedArtifactAttached>
                            <shadedClassifierName>allinone</shadedClassifierName>
                            <artifactSet>
                                <includes>
                                    <include>*:*</include>
                                </includes>
                            </artifactSet>
                            <transformers>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.AppendingTransformer">
                                    <resource>reference.conf</resource>
                                </transformer>
                                <transformer
                                    implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                </transformer>
                                <transformer 
                                implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer">
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

หากคุณใช้sbt :

//hadoop
lazy val HADOOP_VERSION = "2.8.0"

lazy val dependenceList = Seq(

//hadoop
//The order is important: "hadoop-hdfs" and then "hadoop-common"
"org.apache.hadoop" % "hadoop-hdfs" % HADOOP_VERSION

,"org.apache.hadoop" % "hadoop-common" % HADOOP_VERSION
)

ฉันประสบปัญหาเดียวกัน ฉันพบสองวิธีแก้ไข: (1) การแก้ไขไฟล์ jar ด้วยตนเอง:

เปิดไฟล์ jar ด้วย WinRar (หรือเครื่องมือที่คล้ายกัน) ไปที่ Meta-info> services และแก้ไข "org.apache.hadoop.fs.FileSystem" โดยต่อท้าย:

org.apache.hadoop.fs.LocalFileSystem

(2) การเปลี่ยนลำดับของการอ้างอิงของฉันดังต่อไปนี้

<dependencies>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-hdfs</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-common</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-mapreduce-client-core</artifactId>
  <version>3.2.1</version>
</dependency>

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.2.1</version>
</dependency>



</dependencies>

สิ่งนี้ไม่เกี่ยวข้องกับ Flink แต่ฉันพบปัญหานี้ใน Flink ด้วย

สำหรับคนที่ใช้ Flink คุณต้องดาวน์โหลดPre-รวม Hadoop/opt/flink/libและใส่ไว้ใน

ฉันก็เจอปัญหาที่คล้ายกัน เพิ่ม core-site.xml และ hdfs-site.xml เป็นทรัพยากรของ conf (object)

Configuration conf = new Configuration(true);    
conf.addResource(new Path("<path to>/core-site.xml"));
conf.addResource(new Path("<path to>/hdfs-site.xml"));

แก้ไขข้อขัดแย้งของเวอร์ชันใน pom.xml ด้วย (เช่นหากเวอร์ชันที่กำหนดค่าของ hadoop คือ 2.8.1 แต่ในไฟล์ pom.xml การพึ่งพาจะมีเวอร์ชัน 2.7.1 จากนั้นเปลี่ยนเป็น 2.8.1) เรียกใช้การติดตั้ง Maven อีกครั้ง

ข้อผิดพลาดนี้แก้ไขได้สำหรับฉัน