อ่านไฟล์ทั้งหมดใน Scala?

วิธีที่ง่ายและเป็นที่ยอมรับในการอ่านไฟล์ทั้งหมดในหน่วยความจำใน Scala คืออะไร (เป็นการดีที่ควบคุมการเข้ารหัสอักขระ)

สิ่งที่ดีที่สุดที่ฉันสามารถทำได้คือ:

scala.io.Source.fromPath("file.txt").getLines.reduceLeft(_+_)

หรือฉันควรจะใช้หนึ่งในสำนวนเทพเจ้าอันยิ่งใหญ่ของJavaที่ดีที่สุดที่ (โดยไม่ต้องใช้ห้องสมุดภายนอก) น่าจะเป็น:

import java.util.Scanner
import java.io.File
new Scanner(new File("file.txt")).useDelimiter("\\Z").next()

จากการอ่านการสนทนาในรายชื่อผู้รับจดหมายฉันยังไม่ชัดเจนว่า scala.io.Source น่าจะเป็นห้องสมุด I / O ที่เป็นที่ยอมรับ ฉันไม่เข้าใจว่าจุดประสงค์ของมันคืออะไร

... ฉันต้องการสิ่งที่ตายง่ายและจดจำได้ง่าย ตัวอย่างเช่นในภาษาเหล่านี้มันยากที่จะลืมสำนวน ...

Ruby    open("file.txt").read
Ruby    File.read("file.txt")
Python  open("file.txt").read()

val lines = scala.io.Source.fromFile("file.txt").mkString

อย่างไรก็ตาม " scala." ไม่จำเป็นจริงๆเพราะมันอยู่ในขอบเขตเสมอและแน่นอนว่าคุณสามารถนำเข้าเนื้อหาของ io ทั้งหมดหรือบางส่วนและหลีกเลี่ยงการเสริม "io" เกินไป.

ด้านบนเปิดไฟล์ได้อย่างไรก็ตาม เพื่อหลีกเลี่ยงปัญหาคุณควรปิดดังนี้:

val source = scala.io.Source.fromFile("file.txt")
val lines = try source.mkString finally source.close()

ปัญหาอีกประการของโค้ดด้านบนคือมันช้ามากเนื่องจากลักษณะการใช้งาน สำหรับไฟล์ขนาดใหญ่ควรใช้:

source.getLines mkString "\n"

เพียงเพื่อขยายโซลูชันของ Daniel คุณสามารถย่อสิ่งต่าง ๆ ให้สั้นลงอย่างมากโดยการแทรกการนำเข้าต่อไปนี้ลงในไฟล์ใด ๆ ที่ต้องมีการจัดการไฟล์:

import scala.io.Source._

ด้วยสิ่งนี้คุณสามารถทำได้:

val lines = fromFile("file.txt").getLines

Stringผมจะมีความระมัดระวังในการอ่านไฟล์ทั้งหมดลงในหนึ่งเดียว มันเป็นนิสัยที่แย่มากซึ่งจะกัดคุณเร็วและหนักกว่าที่คุณคิด วิธีการส่งกลับค่าของประเภทgetLines Iterator[String]เป็นเคอร์เซอร์ขี้เกียจที่มีประสิทธิภาพในไฟล์ช่วยให้คุณสามารถตรวจสอบข้อมูลที่คุณต้องการโดยไม่ต้องเสี่ยงกับหน่วยความจำเหลือเฟือ

โอ้และเพื่อตอบคำถามโดยนัยของคุณเกี่ยวกับSource: ใช่เป็นห้องสมุด I / O ที่เป็นที่ยอมรับ รหัสส่วนใหญ่จบลงด้วยการใช้งานjava.ioเนื่องจากอินเตอร์เฟสระดับต่ำกว่าและเข้ากันได้ดีกับเฟรมเวิร์กที่มีอยู่ แต่รหัสใด ๆ ที่มีตัวเลือกควรใช้Sourceโดยเฉพาะอย่างยิ่งสำหรับการจัดการไฟล์อย่างง่าย

// for file with utf-8 encoding
val lines = scala.io.Source.fromFile("file.txt", "utf-8").getLines.mkString

(แก้ไข: สิ่งนี้ใช้ไม่ได้ในสกาลา 2.9 และอาจไม่ใช่ 2.8 ก็ได้)

ใช้ลำตัว:

scala> io.File("/etc/passwd").slurp
res0: String = 
##
# User Database
# 
... etc

import java.nio.charset.StandardCharsets._
import java.nio.file.{Files, Paths}

new String(Files.readAllBytes(Paths.get("file.txt")), UTF_8)

ควบคุมการเข้ารหัสอักขระและไม่มีทรัพยากรในการล้างข้อมูล นอกจากนี้อาจปรับให้เหมาะสม (เช่นการFiles.readAllBytesจัดสรรอาร์เรย์ไบต์ที่เหมาะสมกับขนาดของไฟล์)

ฉันได้รับแจ้งว่า Source.fromFile นั้นเป็นปัญหา โดยส่วนตัวฉันมีปัญหาในการเปิดไฟล์ขนาดใหญ่ด้วย Source.fromFile และต้องหันไปใช้ Java InputStreams

อีกวิธีที่น่าสนใจคือการใช้ scalax นี่คือตัวอย่างของโค้ดที่มีการคอมเม้นต์ที่เปิดไฟล์บันทึกโดยใช้ ManagedResource เพื่อเปิดไฟล์ด้วย scalax helpers: http://pastie.org/pastes/420714

การใช้ getLines () บน scala.io.Source จะลบอักขระใดที่ใช้สำหรับตัววางสาย (\ n, \ r, \ r \ n ฯลฯ )

ต่อไปนี้ควรเก็บเป็นอักขระต่ออักขระและไม่ต่อสตริงมากเกินไป (ปัญหาประสิทธิภาพ):

def fileToString(file: File, encoding: String) = {
  val inStream = new FileInputStream(file)
  val outStream = new ByteArrayOutputStream
  try {
    var reading = true
    while ( reading ) {
      inStream.read() match {
        case -1 => reading = false
        case c => outStream.write(c)
      }
    }
    outStream.flush()
  }
  finally {
    inStream.close()
  }
  new String(outStream.toByteArray(), encoding)
}

อีกหนึ่งอย่าง: https://github.com/pathikrit/better-files#streams-and-codecs

วิธีต่างๆในการ slurp ไฟล์โดยไม่โหลดเนื้อหาลงในหน่วยความจำ:

val bytes  : Iterator[Byte]            = file.bytes
val chars  : Iterator[Char]            = file.chars
val lines  : Iterator[String]          = file.lines
val source : scala.io.BufferedSource   = file.content 

คุณสามารถจัดหาโคเดกของคุณเองได้เช่นกันสำหรับสิ่งที่อ่าน / เขียน (ซึ่งถือว่า scala.io.Codec.default หากคุณไม่ได้เตรียมไว้):

val content: String = file.contentAsString  // default codec
// custom codec:
import scala.io.Codec
file.contentAsString(Codec.ISO8859)
//or
import scala.io.Codec.string2codec
file.write("hello world")(codec = "US-ASCII")

เหมือนกับใน Java โดยใช้ไลบรารี CommonsIO:

FileUtils.readFileToString(file, StandardCharsets.UTF_8)

นอกจากนี้คำตอบมากมายที่นี่ลืม Charset มันจะดีกว่าที่จะให้มันอย่างชัดเจนเสมอหรือจะตีหนึ่งวัน

สำหรับการเลียนแบบรูทไวยากรณ์ (และถ่ายทอดความหมาย) ของการเปิดและอ่านไฟล์ให้พิจารณาคลาส implicit นี้ (Scala 2.10 ขึ้นไป)

import java.io.File

def open(filename: String) = new File(filename)

implicit class RichFile(val file: File) extends AnyVal {
  def read = io.Source.fromFile(file).getLines.mkString("\n")
}

ทางนี้,

open("file.txt").read

ในฐานะที่เป็นคนไม่กี่คนที่กล่าวถึงscala.io.Source ที่ดีที่สุดที่จะหลีกเลี่ยงเนื่องจากการรั่วไหลของการเชื่อมต่อ

scalax และ libs java ที่บริสุทธิ์อย่างคงที่เช่นคอมมอนส์ - ไอโอเป็นตัวเลือกที่ดีที่สุดจนกว่าโครงการศูนย์บ่มเพาะใหม่ (เช่น scala-io) จะถูกรวมเข้าด้วยกัน

คุณยังสามารถใช้เส้นทางจาก scala io เพื่ออ่านและประมวลผลไฟล์

import scalax.file.Path

ตอนนี้คุณสามารถรับพา ธ ไฟล์โดยใช้สิ่งนี้: -

val filePath = Path("path_of_file_to_b_read", '/')
val lines = file.lines(includeTerminator = true)

นอกจากนี้คุณยังสามารถรวมเทอร์มิเนเตอร์ แต่โดยค่าเริ่มต้นมันถูกตั้งค่าเป็นเท็จ

สำหรับการอ่าน / อัปโหลดไฟล์ (ใหญ่) ที่เร็วขึ้นโดยรวมลองพิจารณาเพิ่มขนาดของbufferSize( Source.DefaultBufSizeตั้งค่าเป็น2048) ตัวอย่างเช่น

val file = new java.io.File("myFilename")
io.Source.fromFile(file, bufferSize = Source.DefaultBufSize * 2)

หมายเหตุSource.scala สำหรับการอภิปรายต่อไปดูScala รวดเร็วอ่านไฟล์ข้อความและอัปโหลดไปยังหน่วยความจำ

คุณไม่จำเป็นต้องวิเคราะห์คำทุกบรรทัดแล้วต่อกันอีกครั้ง ...

Source.fromFile(path)(Codec.UTF8).mkString

ฉันชอบที่จะใช้สิ่งนี้:

import scala.io.{BufferedSource, Codec, Source}
import scala.util.Try

def readFileUtf8(path: String): Try[String] = Try {
  val source: BufferedSource = Source.fromFile(path)(Codec.UTF8)
  val content = source.mkString
  source.close()
  content
}

หากคุณไม่ทราบการพึ่งพาบุคคลที่สามคุณควรพิจารณาใช้ของฉันห้องสมุด OS-Lib ทำให้การอ่าน / เขียนไฟล์และทำงานกับระบบไฟล์สะดวกมาก:

// Make sure working directory exists and is empty
val wd = os.pwd/"out"/"splash"
os.remove.all(wd)
os.makeDir.all(wd)

// Read/write files
os.write(wd/"file.txt", "hello")
os.read(wd/"file.txt") ==> "hello"

// Perform filesystem operations
os.copy(wd/"file.txt", wd/"copied.txt")
os.list(wd) ==> Seq(wd/"copied.txt", wd/"file.txt")

มีผู้ช่วยเหลือหนึ่งบรรทัดสำหรับการอ่านไบต์ , อ่านชิ้น , อ่านบรรทัดและการดำเนินงานทั่วไปอื่น ๆ อีกมากมายที่มีประโยชน์ /

คำถามที่ชัดเจนคือ"ทำไมคุณต้องการอ่านไฟล์ทั้งหมด?" เห็นได้ชัดว่านี่ไม่ใช่โซลูชันที่ปรับขนาดได้หากไฟล์ของคุณมีขนาดใหญ่มาก scala.io.Sourceช่วยให้คุณกลับมาIterator[String]จากgetLinesวิธีการที่เป็นประโยชน์อย่างมากและรัดกุม

มันไม่มากของงานที่จะเกิดขึ้นกับการแปลงโดยปริยายใช้ Java พื้นฐานสาธารณูปโภค IO การแปลงFileเป็นReaderหรือไปInputStream Stringฉันคิดว่าการขาดความสามารถในการปรับขยายได้หมายความว่าพวกเขาถูกต้องไม่เพิ่มลงใน API มาตรฐาน

พิมพ์ทุกบรรทัดเช่นใช้ Java BufferedReader อ่าน ervery บรรทัดและพิมพ์:

scala.io.Source.fromFile("test.txt" ).foreach{  print  }

เทียบเท่า:

scala.io.Source.fromFile("test.txt" ).foreach( x => print(x))

import scala.io.source
object ReadLine{
def main(args:Array[String]){
if (args.length>0){
for (line <- Source.fromLine(args(0)).getLine())
println(line)
}
}

ในข้อโต้แย้งที่คุณสามารถให้เส้นทางของไฟล์และมันจะกลับมาทุกบรรทัด