ฉันจะจัดการตารางที่มีตัวแปร 256+ ตัวได้อย่างไร

ฉันทำงานกับข้อมูลสำมะโนประชากรและดาวน์โหลดไฟล์ CSV หลายไฟล์แต่ละไฟล์มีคอลัมน์ / ตัวแปร 600ish ฉันต้องการเก็บไว้ในฐานข้อมูลที่สามารถสืบค้นได้ แต่ทุกอย่างที่ฉันพยายาม (MS Access, Arc Geodatabase table) ตัดตารางเป็น 256 คอลัมน์ มีวิธีแก้ไขปัญหาสำหรับการจัดการตารางขนาดใหญ่ที่เข้าถึงได้โดยคนที่ไม่ใช่ DBA หรือไม่?

PostgreSQL มีข้อ จำกัด คอลัมน์ระหว่าง 250 ถึง 1600 "ขึ้นอยู่กับประเภทคอลัมน์" และสนับสนุนข้อมูลเชิงพื้นที่และแบบสอบถามด้วยส่วนขยาย PostGIS ดังนั้นฉันอยากจะทำสองสิ่ง:

ขั้นแรกให้คอลัมน์แสดงหมวดหมู่แทนข้อความอิสระสร้างตารางแยกต่างหากด้วยหมวดหมู่เหล่านั้นและแทนที่คอลัมน์ด้วย ID จำนวนเต็มและข้อ จำกัด คีย์ต่างประเทศอ้างอิงตารางหมวดหมู่

ประการที่สองทำลายฟอร์มปกติที่สามด้วยการแบ่งตารางขนาดใหญ่ออกเป็นสองแบบหรือมากกว่าในรูปแบบเชิงตรรกะและตั้งค่าความสัมพันธ์แบบหนึ่งต่อหนึ่ง นี่อาจไม่ใช่ประสิทธิภาพสูงสุด แต่ถ้าคุณไม่ค่อยต้องการข้อมูลบางอย่างการสืบค้นอาจอยู่ในตารางที่คุณต้องการ

ทางเลือกอื่นที่แตกต่างกันโดยสิ้นเชิงคือการใช้ฐานข้อมูล "NOSQL" เช่น MongoDB, CouchDB และอื่น ๆ ไม่มีการ จำกัด ขนาดแบบมีสายอย่างหนักสำหรับขนาด "แถว" และหากไม่มีข้อมูลสำหรับบันทึกข้อมูลก็ไม่จำเป็นต้องใช้พื้นที่เลย

การสนับสนุนเชิงพื้นที่นั้นไม่ดีสำหรับฐานข้อมูล bigtable ประเภทนี้ แต่ MongoDB รองรับการสืบค้นเชิงพื้นที่และข้อมูล 2D และ CouchDB ดูเหมือนจะมีฟังก์ชั่นที่คล้ายกัน

ฉันเพิ่งจัดการกับปัญหาเดียวกันกับไฟล์ CSV โปรไฟล์การสำรวจสำมะโนประชากรแคนาดาสถิติที่มี 2172 คอลัมน์ คุณสามารถนำเข้า csv ของคุณไปยัง ESRI File Geodatabase (FGDB) หากคุณมีสิทธิ์เข้าถึง ArcGIS ตามที่ ESRI, รูปแบบ FGDB สามารถจัดการ 65,534 สาขาในชั้นเรียนหรือที่โต๊ะ

ในกรณีของฉันฉันสามารถนำเข้าไฟล์ CSV แบบกว้างคอลัมน์ 2172 ของฉันลงในตาราง FGDB ได้โดยไม่มีปัญหาใด ๆ

เมื่อคุณนำตารางทั้งหมดมาไว้ใน FGDB คุณสามารถแบ่งส่วนต่างๆตามที่คุณต้องการ (เช่นมีเหตุผลหรือตามข้อ จำกัด ของ db) ตรวจสอบให้แน่ใจว่าคุณเก็บคอลัมน์ id ที่ไม่ซ้ำกันเพื่อให้แน่ใจว่าคุณสามารถรวมเข้าด้วยกันเป็น จำเป็น

สั้น:
ตัวเลือกของฉันสำหรับข้อมูลที่มีแอตทริบิวต์จำนวนมากหรือชนิดตัวแปรตัวแปรสำหรับแต่ละวัตถุคือการใช้โมเดลข้อมูล KEY / VALUE สามารถนำไปใช้และทำงานได้ดีใน sql (ฉันอยากจะแนะนำ postgresql + postgis)

คำอธิบาย:
1) คุณมีตารางหนึ่งตารางสำหรับคุณลักษณะสมมติว่ามีจุด ตารางนี้มี ID และ GEOMETRY สำหรับแต่ละจุด

2) คุณมีอีกหนึ่งตารางสำหรับ 'แอตทริบิวต์' ซึ่งเป็นคู่ของคีย์ / ค่า ตารางนี้มี ID คอลัมน์, POINT_ID (FK), KEY (varchar), VALUE (varchar)

ตอนนี้แต่ละจุดสามารถมีคุณสมบัติที่ไม่มีที่สิ้นสุดที่จัดเก็บเช่นนี้

ID   POINT_ID   KEY   VALUE
1        1      type     burger shop
2        1      name     SuperBurger
3        1      address  123, a ST.

OpenStreetMaps ทำงานเช่นนั้นและได้ผลดีมากดูที่นี่และที่นี่

เพื่อนำเข้าข้อมูลฉันจะเขียนสคริปต์ไพ ธ อน