การสอบถามไฟล์ CSV

ไม่มีใครรู้ว่าเครื่องมือง่ายๆที่จะเปิดไฟล์ CSV และให้คุณทำแบบสอบถาม SQLesque ขั้นพื้นฐานได้หรือไม่ เช่นเดียวกับเครื่องมือกราฟิกชนิดหนึ่งที่ใช้งานง่าย

ฉันรู้ว่าฉันสามารถเขียนสคริปต์ขนาดเล็กเพื่อนำเข้า CSV ลงในฐานข้อมูล SQLite แต่เนื่องจากฉันคิดว่ามีคนอื่นคิดเรื่องนี้ก่อนฉันฉันแค่ต้องการสอบถามว่ามีอยู่จริงหรือไม่ สิ่งที่ทำให้คำถามนี้คือฉันรู้สึกหงุดหงิดกับความสามารถในการกรองที่ จำกัด ของ Excel

บางทีเครื่องมือจัดการการสร้างภาพข้อมูลอื่น ๆ อาจมีฟังก์ชั่นที่คล้ายกัน

แนะนำให้ใช้ฟรีหรือ OSS แต่ฉันเปิดรับข้อเสนอแนะใด ๆ

แก้ไข:

ฉันต้องการบทเรียนบางอย่างที่ชัดเจนเกี่ยวกับวิธีการทำด้านล่างแทนที่จะเพียงแค่ "ทำให้แผ่นงานของคุณเป็นรายการ ODBC" หรือ "เขียนโปรแกรมโดยใช้ไฟล์ ODBC" หรือแนวคิดเพิ่มเติมเกี่ยวกับแอปที่จะใช้ หมายเหตุ: ฉันไม่สามารถใช้ MS Access ได้

ยังแก้ไขอื่น:

ฉันยังเปิดรับการแก้ปัญหาด้วยการใช้ SQLite แพลตฟอร์มของฉันเป็นแลปท็อป Win2k กึ่งโบราณที่มี P4 อยู่ มันค่อนข้างช้าดังนั้นวิธีแก้ปัญหาทรัพยากรแสงจึงเหมาะและน่าจะชนะ

คุณลองLogParser แล้วหรือยัง

Log parser เป็นเครื่องมือที่ทรงพลังและหลากหลายที่ให้การเข้าถึงข้อมูลที่เป็นข้อความเช่นไฟล์บันทึกไฟล์ XML และไฟล์ CSV รวมถึงแหล่งข้อมูลสำคัญในระบบปฏิบัติการ Windows เช่น Event Log, Registry ระบบไฟล์และ Active Directory® คุณบอก Log Parser ว่าคุณต้องการข้อมูลใดบ้างและคุณต้องการให้ประมวลผลอย่างไร ผลลัพธ์ของแบบสอบถามของคุณสามารถจัดรูปแบบที่กำหนดเองในผลลัพธ์ตามข้อความหรือพวกเขาสามารถยืนยันไปยังเป้าหมายพิเศษเพิ่มเติมเช่น SQL, SYSLOG หรือแผนภูมิ

ซอฟต์แวร์ส่วนใหญ่ได้รับการออกแบบมาเพื่อทำงานที่ จำกัด จำนวนหนึ่ง Log Parser นั้นแตกต่างกัน ... จำนวนของวิธีที่มันสามารถใช้ได้นั้นถูก จำกัด ด้วยความต้องการและจินตนาการของผู้ใช้ โลกคือฐานข้อมูลของคุณด้วย Log Parser

กวดวิชา (และอีกคนหนึ่ง ) เกี่ยวกับการใช้ SQL เช่นภาษาแบบสอบถามด้วย CSV ไฟล์ฉันพบโดยใช้ Google

แบบสอบถามตัวอย่าง:

logparser -i:CSV "SELECT TOP 10 Time, Count INTO c:\logparser\test\Chart.GIF 
FROM c:\logparser\test\log.csv ORDER by Time DESC" -charttype:bar3d

ฉันคิดว่าฐานข้อมูล OpenOffice.orgสามารถทำสิ่งที่คุณต้องการ มันใช้งานได้เช่นนี้

1. เริ่มเปิดฐานข้อมูล Office.org จะแสดง " ตัวช่วยสร้างฐานข้อมูล "

2. เลือก " เชื่อมต่อกับฐานข้อมูลที่มีอยู่: ข้อความ "

   

3. ระบุพา ธ ไปยังไฟล์ข้อความรวมถึงรายละเอียดเช่นตัวคั่นและอื่น ๆ

   

4. สร้างและดำเนินการค้นหา

   

หากคุณเคยทำงานกับ Microsoft Access คุณจะพบ GUI ที่คุ้นเคย

หากคุณสามารถทำได้โดยไม่ต้องใช้ GUI จะมีคำสั่ง UNIX แบบดั้งเดิมอยู่เสมอ ฉันใช้มันบ่อยๆในการทำแบบสอบถามง่ายๆกับไฟล์ CSV (เล็ก) นี่คือวิธีการทำงาน:

clause      operation   command
-------------------------------
from             join     `join`
where     restriction     `grep`
order by           --     `sort`
group by  restriction      `awk`
having    restriction     `grep`
select     projection      `cut`
distinct  restriction     `uniq`
limit     restriction     `head`
offset    restriction     `tail`

คุณสามารถใช้ ODBC เพื่อค้นหาไฟล์ข้อความ:

การเข้าถึงไฟล์ข้อความโดยใช้ ODBC Data Provider

โปรดทราบว่าคุณไม่จำเป็นต้องใช้ MS Access ในการทำงานกวดวิชาในลิงก์ด้านบนนี้ใช้ MS Access เพื่อสร้างไฟล์ข้อความ แต่เนื่องจากคุณมีไฟล์ข้อความอยู่แล้วเลื่อนลงครึ่งทางและเริ่มการสอนที่คุณเห็น ชื่อเรื่องการเข้าถึงแฟ้มข้อความ

อัปเดต : ฉันสร้าง DSN ในไฟล์. csv เองเพื่อให้สามารถสร้างขั้นตอนการสอนตามขั้นตอน ... ที่นี่:

• ตรวจสอบให้แน่ใจว่าไฟล์. csv ของคุณอยู่ในไดเรกทอรีของตัวเองโดยไม่มีสิ่งอื่นใด
• เปิด "ผู้ดูแลแหล่งข้อมูล ODBC" (เริ่ม - แผงควบคุม - เครื่องมือการจัดการ - แหล่งข้อมูล (ODBC))
• ไปที่แท็บ File DSN แล้วคลิกที่ "Add ... "
• เลือก "Microsoft Text Driver (* .txt, * .csv) จากรายการและคลิก" Next> "
• ตั้งชื่อให้กับแหล่งข้อมูลไฟล์ของคุณ (เช่น "test") และคลิก "Next>"
• คลิก "เสร็จสิ้น" (หลังจากนี้กล่องโต้ตอบจะปรากฏขึ้นโดยที่ "แหล่งข้อมูลชื่อ" และ "คำอธิบาย" ฟิลด์เป็นสีเทาจริง ๆ นี่เป็นเรื่องปกติไม่ต้องกังวล
• ยกเลิกการเลือกช่องทำเครื่องหมาย "ใช้ไดเรกทอรีปัจจุบัน" ปุ่ม "เลือกไดเรกทอรี" จะเปิดใช้งาน
• คลิกปุ่ม "เลือกไดเรกทอรี" และเปิดโฟลเดอร์ที่คุณวางไฟล์. csv ไว้ในขั้นตอนแรก
• คลิกที่ปุ่ม "ตัวเลือก >>"
• คลิกที่ปุ่ม "กำหนดรูปแบบ ... "
• ในรายการ "Tables" ด้านซ้ายเลือกไฟล์. csv ของคุณและคลิกที่ปุ่ม "Guess" (สิ่งนี้จะวิเคราะห์ไฟล์ csv ของคุณและสร้างฟิลด์ที่เหมาะสมสำหรับแต่ละคอลัมน์ในไฟล์. csv ของคุณ)
• ผ่านคอลัมน์ที่สร้างขึ้น (F1, F2, ... ) ในรายการด้านขวาตั้งชื่อที่มีความหมายและตั้งประเภทข้อมูลที่เหมาะสม (บางครั้งการคาดเดาไม่ถูกต้อง)
• เมื่อตั้งค่าทุกอย่างถูกต้องแล้วให้คลิก "ตกลง" (2 ครั้ง)

ณ จุดนี้คุณควรมีไฟล์ DSN ซึ่งคุณสามารถเข้าถึงไฟล์. csv ของคุณผ่าน ODBC หากคุณตรวจสอบโฟลเดอร์ที่วางไฟล์. csv ไว้คุณจะเห็นไฟล์ schema.ini ซึ่งมีไฟล์กำหนดค่าที่คุณเพิ่งสร้างขึ้น เมื่อคุณมีไฟล์. csv หลายไฟล์แต่ละไฟล์จะสอดคล้องกับตารางและแต่ละตารางจะมีบล็อก[ filename .csv] ในไฟล์ schema.ini ซึ่งมีการกำหนดคอลัมน์ที่แตกต่างกัน ... คุณสามารถสร้าง / เปลี่ยนสคีมานั้น . ini ไฟล์โดยตรงในโปรแกรมแก้ไขข้อความแทนการใช้ GUI อธิบายไว้ข้างต้น

สำหรับคำถามเพิ่มเติมของคุณ "วิธีเชื่อมต่อกับผู้ให้บริการ ODBC นี้โดยใช้เครื่องมือสืบค้น":
ฉันมีเครื่องมือที่ฉันเขียนด้วยตัวเองมานานแล้วซึ่งไม่มีสิทธิ์ในการตีพิมพ์ แต่การค้นหาอย่างรวดเร็วของ Google เกิดขึ้นด้วยodbc-viewซึ่งเป็นเครื่องมือฟรีแวร์ที่ทำในสิ่งที่คุณต้องการ
ฉันดาวน์โหลดและติดตั้งเครื่องมือ
หลังจากเริ่มเครื่องมือ:

• คลิกที่ "แหล่งข้อมูล ... "
• เลือกแหล่งข้อมูลไฟล์ที่คุณสร้างไว้ก่อนหน้า (เช่น "test")
• ในบานหน้าต่างแบบสอบถามให้พิมพ์ "select * from [ filename .csv]"
• คลิก "ดำเนินการ"

คุณควรเห็นเนื้อหาของไฟล์. csv ของคุณในบานหน้าต่างด้านล่างทันที
หวังว่าสิ่งนี้จะช่วยให้ ... แจ้งให้เราทราบว่าคุณทำหรือถ้าคุณต้องการความช่วยเหลือเพิ่มเติม

ฉันชอบใช้Rเพื่อเข้าถึงไฟล์ csv อย่างรวดเร็ว ในขณะที่ภาษานั้นไม่ใช่ SQL โดยตรงคุณสามารถทำสิ่งต่าง ๆ เหล่านั้นด้วยคำสั่งง่ายๆใน R. R ยังให้ความสามารถในการสร้างกราฟที่ดีและพลังงานอื่น ๆ อีกมากมาย

คุณสามารถอ่านไฟล์ลงใน Excel และใช้ Excel เป็นแหล่งข้อมูลของคุณผ่าน ODBC และเรียกใช้แบบสอบถามกับมัน

ฉันพบว่าวิธีที่ง่ายที่สุดในการบรรลุเป้าหมายคือเพียงใช้ฟังก์ชั่นนำเข้า CSV ในตัวของ SQLite:

1. sqlite3 mydatabase.sqlite
2. sqlite> .mode csv
3. sqlite> .import mydata.csv <tablename>

ตอนนี้คุณมีฐานข้อมูลที่ใช้งานได้ซึ่งคุณสามารถสืบค้นได้ตามต้องการ ฉันพบว่าประสิทธิภาพการทำงานด้านบนดีมากฉันเพิ่งนำเข้าแถวสามล้านแถวใน 10-15 วินาที

ผมพบว่ามีขนาดเล็กไม่ app กราฟิกที่ไม่นี้: csvsql

เอกสารที่นี่

คุณสามารถดูเครื่องมือฟรีq - Text as a Databaseซึ่งอนุญาตให้เรียกใช้งาน SQL โดยตรงบนไฟล์ csv รวมถึงการรวมกลุ่มการจัดกลุ่มและการสร้าง SQL อื่น ๆ รวมถึงการตรวจหาชื่อคอลัมน์และประเภทคอลัมน์โดยอัตโนมัติ

มันเป็นเครื่องมือบรรทัดคำสั่งที่ตรงกับวิธีการทำงานของ Linux (เช่น Piping จาก stdin หากจำเป็นต้องใช้ค่าสถานะพิเศษสำหรับการปรับแต่งพฤติกรรม ฯลฯ )

ใช้ฉากหลังของ sqlite น้ำหนักเบามากและใช้งานง่าย

การเปิดเผยแบบเต็ม - เป็นเครื่องมือโอเพนซอร์สของฉันเอง หวังว่าคุณจะพบว่ามีประโยชน์

Harel Ben-Attia

เครื่องมือที่ผมพบว่าผมคิดว่าอาจจะทำให้เรื่องนี้ง่ายขึ้นในอนาคตคือResolver หนึ่ง

มันเป็นสเปรดชีตที่สร้างรหัส Python ที่สามารถแก้ไขได้ง่าย สำหรับผู้ที่เป็นนักพัฒนาและบางครั้งจำเป็นต้อง "ก้าวลง" เพื่อแก้ปัญหาในสเปรดชีตดูเหมือนว่าเป็นวิธีที่ใช้งานง่ายในการแก้ปัญหากระดาษคำนวณในภาษาที่พวกเขาคุ้นเคย

และมันเป็นข้อแก้ตัวให้ฉันใช้ Python Python ทำให้ฉันมีความสุข

ไดรเวอร์ H2 JDBC มีฟังก์ชัน csvread ที่มีประโยชน์มากช่วยให้คุณทำสิ่งต่าง ๆ ดังต่อไปนี้:

select * from csvread(test1.csv) test1 
inner join csvread(test2.csv2) test2
on test1.id = test2.foreignkey

มีหลายวิธีในการใช้ประโยชน์จากไดรเวอร์นี้โดยไม่ต้องเจาะลึกการเขียนโค้ดเพื่อใช้งาน

โดยส่วนตัวแล้วฉันชอบSquirrel SQL Clientซึ่งให้ GUI ที่ดีสำหรับการรันคำสั่งในการใช้ทุกอย่างที่คุณต้องทำก็คือชี้H2 In-Memoryclasspath ของไดรเวอร์ที่แสดงรายการไว้แล้วไปยังไดรเวอร์ H2 ที่คุณดาวน์โหลดมา เมื่อคุณตั้งค่านามแฝงที่เหมาะสมโดยใช้ไดรเวอร์แล้วคุณสามารถเรียกใช้ SQL แบบสุ่มที่คุณต้องการ ผลลัพธ์จะแสดงในตารางที่ดีและคุณสมบัติอื่น ๆ ทุกประเภทสำหรับการนำเข้าส่งออก ฯลฯ

หรือคุณสามารถใช้ Groovy เพื่อเขียนสคริปต์อย่างรวดเร็วเพื่อโหลดและใช้ไดรเวอร์ตามความจำเป็น ดูบล็อกนี้ตัวอย่างเพื่อดูวิธีการ

ดูเหมือนว่าใครบางคนได้ขยายสคริปต์ groovy ด้านบนและทำให้มันเป็นเครื่องมือบรรทัดคำสั่งที่ดีในการเรียกใช้แบบสอบถามดู gcsvsql ด้วยวิธีนี้คุณสามารถเรียกใช้คำสั่งดังนี้:

gcsvsql "select * from people.csv where age > 40"

คุณอาจต้องการที่จะลองเครื่องมือ Q มันมีน้ำหนักเบามากเพียงต้องการ Python 2.5 หรือใหม่กว่าเท่านั้น

ฉันได้เขียนโปรแกรมบรรทัดคำสั่งเพื่อรัน SQL แบบสุ่มบนไฟล์ csv รวมถึงการรวมหลายไฟล์เรียกว่า gcsvsql คุณสามารถอ่านได้ที่นี่:

http://bayesianconspiracy.blogspot.com/2010/03/gcsvsql.html

มีโครงการ Google Code อยู่ที่นี่: http://code.google.com/p/gcsvsql/

มันเขียนใน Java / Groovy และจะเรียกใช้ทุกที่ที่มี Java

แก้ไข: โปรเจ็กต์ที่ใช้งานอยู่ถูกย้ายไปที่ Github https://github.com/jdurbin/durbinlib

สองตัวเลือกมากขึ้นสำหรับงานนี้: querycsvและfsql Querycsv คือ Python และใช้ sqlite3 Fsql เป็น Perl และการใช้งานDBD :: CSV

ในขณะที่ไม่ฟรีโปรแกรมที่ดีที่สุดที่ฉันได้พบนี้คือแบบสอบถามไฟล์ แตกต่างจากโซลูชันอื่น ๆ ที่ใช้บรรทัดคำสั่งหรือต้องการนำเข้า / ตั้งค่าไฟล์ก่อนเข้าถึงไฟล์แบบสอบถามไฟล์ช่วยให้คุณเปิดไฟล์ (แม้ GB เป็น inup เช่นโปรแกรมแก้ไขข้อความทั่วไปและจะแยกวิเคราะห์เลย์เอาต์ให้คุณโดยอัตโนมัติ และให้คุณทำแบบสอบถามเกือบทั้งหมดจากกล่องโต้ตอบง่าย ๆ

มันแพงไปหน่อย แต่ถ้าคุณต้องการทำอะไรซักครั้งคุณสามารถทดลองใช้ฟรี 30 วันได้ตลอดเวลา พวกเขายังมีไกด์ที่ยอดเยี่ยมและแม้แต่วิดีโอเพื่อให้คุณเริ่มต้น

คุณสามารถใช้ WHS ตัวอย่างเช่นฉันมี 4 ไฟล์ในไดเรกทอรี 'C: \ Users \ user837 \ Desktop \ t4': 1.txt

id;sex_ref;sale
1;1;10
2;2;30
3;1;20

2.txt

sex_id;name
1;male
2;female

schema.ini

[1.txt]
Format=Delimited(;)
ColNameHeader=True
MaxScanRows=50
DecimalSymbol=,
[2.txt]
Format=Delimited(;)
ColNameHeader=True
MaxScanRows=50
DecimalSymbol=,

และ Hello.js

WScript.Echo("Hello World!");
var cn = new ActiveXObject("ADODB.Connection");
cn.Open("Provider=Microsoft.Jet.OLEDB.4.0;Data Source=\"C:\\Users\\user837\\Desktop\\t4\";Extended Properties=\"text;HDR=NO;FMT=Delimited\"");

var rs = cn.Execute("select * from 1.txt as t1 left join 2.txt as t2 on t1.sex_ref = t2.sex_id");

while (!rs.EOF) 
{
    WScript.Echo(           rs.Fields("id").Value
                  + "###" + rs.Fields("sex_ref").Value
                  + "###" + rs.Fields("name").Value
                );
    rs.moveNext();
}

ตอนนี้เพียงดับเบิลคลิกที่ Hello.js แล้วคุณจะเห็น sql reqult ทีละบรรทัด ดูเอกสาร WHS เพื่อดูผลลัพธ์การสืบค้นทั้งหมด

มีปลั๊กอิน Notepad ++ CsvQuery เพื่อเรียกใช้คิวรี่ sql ในไฟล์ csv ที่เปิดใน npp https://github.com/jokedst/CsvQuery