รูปแบบข้อความธรรมดาที่ง่ายเชื่อถือได้เปิดและทำงานร่วมกันได้สำหรับการจัดเก็บข้อมูล

ในคำถามก่อนหน้านี้ผมถามเกี่ยวกับเครื่องมือสำหรับการแก้ไขไฟล์ CSV

Gavin เชื่อมโยงกับความคิดเห็นเกี่ยวกับวิธีใช้ R โดยDuncan Murdoch แนะนำว่ารูปแบบการแลกเปลี่ยนข้อมูลเป็นวิธีที่เชื่อถือได้มากขึ้นในการจัดเก็บข้อมูลกว่า CSV

สำหรับบางแอปพลิเคชันระบบการจัดการฐานข้อมูลเฉพาะเป็นสิ่งที่จำเป็น อย่างไรก็ตามสำหรับการวิเคราะห์ข้อมูลขนาดเล็กมีโครงการบางอย่างที่มีน้ำหนักเบากว่าดูจะเหมาะสมกว่า

พิจารณาเกณฑ์ต่อไปนี้สำหรับการประเมินรูปแบบไฟล์:

• reliabile : ข้อมูลที่ป้อนควรเป็นจริงกับสิ่งที่ป้อน ข้อมูลควรเปิดอย่างสม่ำเสมอในซอฟต์แวร์ที่ต่างกัน
• ง่าย : มันคงจะดีถ้ารูปแบบไฟล์นั้นเข้าใจง่ายและอ่านง่ายด้วยตัวแก้ไขข้อความอย่างง่าย ควรเขียนโปรแกรมอย่างง่ายเพื่ออ่านและเขียนรูปแบบ
• เปิด : รูปแบบควรจะเปิด
• ทำงานร่วมกัน : รูปแบบไฟล์ควรได้รับการสนับสนุนจากหลาย ๆ ระบบ

ฉันค้นหาแท็บและรูปแบบค่าที่คั่นด้วยเครื่องหมายจุลภาคล้มเหลวในเกณฑ์ความน่าเชื่อถือ แม้ว่าฉันคิดว่าฉันสามารถตำหนิการนำเข้าและส่งออกโปรแกรมมากกว่ารูปแบบไฟล์ ฉันมักจะพบว่าตัวเองต้องปรับตัวเลือกเล็กน้อย read.tableเพื่อป้องกันตัวละครแปลก ๆ จากการโหลดเฟรมข้อมูล

คำถาม

• รูปแบบไฟล์ใดที่ตรงกับความต้องการเหล่านี้มากที่สุด
• รูปแบบการแลกเปลี่ยนข้อมูลเป็นทางเลือกที่ดีกว่าหรือไม่ หรือมันมีปัญหาของตัวเอง?
• มีรูปแบบอื่นที่เหมาะสมกว่าหรือไม่
• ฉันประเมิน TSV และ CSV อย่างไม่เป็นธรรมหรือไม่? มีเคล็ดลับง่ายๆสำหรับการทำงานกับไฟล์ดังกล่าวที่ทำให้รูปแบบไฟล์มีความน่าเชื่อถือมากขึ้นหรือไม่?

ฉันสงสัยว่าจะมีการชนกันของเกณฑ์หรือไม่

หนึ่งข้อร้องเรียนเกี่ยวกับรูปแบบไฟล์เช่น Excel, SQL และอื่น ๆ คือคุณต้องกำหนดประเภทข้อมูลล่วงหน้าเพื่อให้มันทำงานได้ดีซึ่งทำงานตรงข้ามกับเกณฑ์ "สิ่งที่มีน้ำหนักเบากว่า" (ฉันเข้าใจว่าข้อ จำกัด ของคุณจะมีเวลามากขึ้น เกี่ยวข้องมากกว่าการคำนวณ)

ในทางตรงกันข้ามเกณฑ์ที่ไม่ทำให้เสียข้อมูลหรืออนุญาตให้ข้อมูลถูกบดบังต้องมีการตรวจสอบข้อผิดพลาดบางอย่าง ถ้าคุณไม่ปล่อยให้ระบบหาประเภทข้อมูลโดยอัตโนมัติอย่างน่าอัศจรรย์ (ซึ่งเป็นหลักที่ Excel ล้มเหลว) ไม่มีวิธีที่จะมีเค้กของคุณและกินมันด้วย

IMO ของทั้งสองเกณฑ์ที่สองมีความสำคัญมากกว่า ความถูกต้องของข้อมูลละเมิดทันทีทำให้การวิเคราะห์ยากหรือเป็นไปไม่ได้ การสังเกตที่หายไปหรือค่าที่ไม่ถูกต้อง (หากตรวจสอบไม่ถูกต้อง) สามารถทำให้ทุกอย่างสับสน

ในส่วนที่เกี่ยวกับ DIF ข้อความจริงที่เกิดขึ้นจริงนั้นไม่ใช่มนุษย์ที่สามารถอ่านได้และอาจเป็นเรื่องยาก (IMO) สำหรับมนุษย์ในการป้อนข้อมูล

IMO คุณควรให้ตัวคั่นไฟล์สั่นอย่างยุติธรรม ดังที่ได้กล่าวไว้ข้างต้นในความคิดเห็น 'data mangling' ส่วนใหญ่เป็นความผิดของชุดย่อยของเครื่องมือที่คุณใช้ โปรแกรมที่ทำงานได้ดีไม่ควรทำการรวมไฟล์ที่มีตัวคั่น แหล่งที่มาที่ใหญ่ที่สุดของ mangling คือตัวคั่นที่ระบุไว้ไม่ดี ตัวอย่างเช่นหากข้อมูลของคุณอาจมีเครื่องหมายจุลภาค CSV ไม่เหมาะสม ถ้ามันอาจมีแท็บ TSV ไม่เหมาะสม สำหรับหลาย ๆ โปรแกรม (แต่ไม่ใช่ทั้งหมด) คุณสามารถระบุตัวคั่นอื่นได้ ตัวอย่างเช่นฉันเคยใช้เครื่องหมายตัวหนอน (~) ในบางกรณีที่ยากลำบาก

ในทุกกรณีฉันจะพิจารณาไฟล์ RData ที่สร้างโดย R เองตามความเหมาะสม

• น่าเชื่อถือ (ตรวจสอบ)
• ง่าย (เรียกว่าวาด - รูปแบบเป็นไบนารี)
• เปิด (ตรวจสอบ: ไม่ได้รับการเปิดเกินกว่าซอร์สโค้ด R)
• ทำงานร่วมกันได้ (ตรวจสอบ: ทำงานได้ทุกที่ R ใช้งานได้)

ใกล้พอสำหรับฉัน หากโดยระบบที่คุณหมายถึงการใช้งานมากกว่าระบบปฏิบัติการแล้วจุดสุดท้ายคือความล้มเหลว

โอ้และ RData นั้นมีประสิทธิภาพเนื่องจากตอนนี้ไฟล์ถูกบีบอัดเป็นค่าเริ่มต้น (ซึ่งเคยเป็นตัวเลือกที่ถูกปิดใช้งานตามค่าเริ่มต้น)

ในการตอบสนองต่อคำตอบของเดิร์ค Eddelbuettel ผมขอแนะนำให้ใช้รูปแบบไฟล์ HDF5 มันง่ายกว่ารูปแบบ RData น้อยกว่าหรือคุณอาจพูดว่า 'รวยขึ้น' แต่ใช้งานร่วมกันได้มากกว่า (สามารถใช้ใน C, Java, Matlab และอื่น ๆ ) ฉันพบว่า I / O ที่เกี่ยวข้องกับไฟล์ HDF5 ขนาดใหญ่นั้นรวดเร็วมาก

ฉันไม่แน่ใจว่าทำไมรูปแบบข้อความคงที่พร้อมด้วยข้อมูลเมตาที่เหมาะสมไม่ตรงกับเกณฑ์ของคุณ มันไม่ง่ายเลยที่จะอ่านเป็นตัวคั่น แต่คุณต้องการเมทาดาทาที่จะใช้ข้อมูลอยู่ดี งานการเขียนไวยากรณ์เพื่ออ่านโปรแกรมนั้นขึ้นอยู่กับว่าโครงสร้างของชุดข้อมูลมีขนาดใหญ่และซับซ้อนเพียงใด SPSS และ Excel มี GUI เพื่อช่วยเหลืองานเหล่านี้

มีข้อผิดพลาดเพียงสองข้อในไฟล์ CSV ที่ฉันเจอ:

1. เขตข้อมูลที่ขาดหายไปโดยไม่มีตัวคั่น (ดังนั้นทุกเขตข้อมูลอื่นในระเบียนนั้นถูกใส่ผิดฉันมีปัญหานี้กับแท็กที่ขาดหายไปใน XML)
2. เครื่องหมายจุลภาคภายในสตริงข้อความ

(หากคุณพบปัญหาอื่น ๆ อย่าลังเลที่จะให้ตัวอย่าง)

สองแก้ไขด้วยตัวคั่นที่ผิดปกติมากขึ้นตามที่ drnexus แนะนำ (ไปป์ (|) เป็นสิ่งที่ฉันเคยพบมาก่อน แต่ tilde (~) ทำงานเช่นเดียวกับที่ไม่น่าจะรวมอยู่ในเขตข้อมูลของสตริง) หนึ่งคือ ปัญหาไม่ได้รับการแก้ไขอย่างง่ายดายโดยซอฟต์แวร์ที่คุณใช้และทั้งสองอย่างมีปัญหากับวิธีที่ผู้คนเขียนไฟล์เพื่อเริ่มต้นไม่ใช่ซอฟต์แวร์ที่ใช้ในการอ่านไฟล์

ฉันต้องการจะบอกว่าฉันเห็นด้วยกับ drnexus ทั้งในหัวข้อนี้และการตอบสนองของเขาในหัวข้อล่าสุดของคุณเกี่ยวกับการแก้ไขไฟล์เหล่านี้ คุณดูเหมือนจะบ่นเกี่ยวกับซอฟต์แวร์ที่คุณใช้ (โดยเฉพาะอย่างยิ่ง Excel) และขอให้จัดเก็บข้อมูลในรูปแบบที่สอดคล้องกับซอฟต์แวร์ที่ประพฤติตัวไม่ดีของคุณ บางทีคำถามควรเป็นวิธีให้ Excel หยุดการจัดรูปแบบไฟล์ข้อความธรรมดาโดยอัตโนมัติ เกณฑ์ความน่าเชื่อถือของคุณตามที่ปรากฏให้ฉันเป็นปัญหาซอฟต์แวร์ที่มีการอ่านไฟล์ข้อความธรรมดา ฉันไม่ได้ใช้ R สำหรับการจัดการข้อมูล แต่ฉันไม่เคยอ่านไฟล์ที่มีตัวคั่นใน SPSS อย่างที่คุณเคยแนะนำ

หากไฟล์ต้นฉบับเขียนไม่ถูกต้องอะไรทำให้คุณคาดหวังว่าซอฟต์แวร์ใด ๆ ที่จะอ่านไฟล์ได้อย่างน่าเชื่อถือ? และรูปแบบไฟล์เฉพาะจะไม่ป้องกันไม่ให้คุณเขียนข้อมูลไปยังไฟล์ประเภทใดก็ตามที่คุณเลือกที่จะเริ่มต้นด้วย

ปัญหาทั่วไปที่มีรูปแบบข้อความล้วนคือมันไม่สามารถเก็บข้อมูลเมตาได้ คุณจะกำหนดข้อมูลที่ขาดหายไปได้อย่างไร คุณกำหนด 1 = ไม่เห็นด้วยอย่างยิ่ง, 2 = ไม่เห็นด้วย, ... ประเภทของสิ่งต่าง ๆ ในรูปแบบข้อความล้วน? ด้วยรูปแบบข้อความธรรมดาคุณจะต้องใช้เอกสารอื่นเพื่อกำหนดข้อมูลเมตาเหล่านั้น และมันไม่ง่ายที่จะทำใน XML

บางครั้งปัญหานี้อาจรบกวนมาก

โซลูชันของฉันคือใช้รูปแบบข้อมูล SPSS ซึ่งมีข้อมูลในตัวและแก้ไขได้ง่ายใน SPSS ฉันรู้ว่านี่ไม่ใช่คำตอบที่ถูกต้องสำหรับคำถามของคุณ แต่ฉันได้รับการดิ้นรนกับปัญหาเดียวกันมานานแล้วและนี่คือทางออกปัจจุบันของฉัน