คุณสมบัติด้านประสิทธิภาพของ sqlite พร้อมไฟล์ฐานข้อมูลขนาดใหญ่มาก ๆ คืออะไร? [ปิด]

ฉันรู้ว่า sqlite ทำงานได้ไม่ดีกับไฟล์ฐานข้อมูลที่มีขนาดใหญ่มากแม้ว่าจะได้รับการสนับสนุน (เคยมีความคิดเห็นในเว็บไซต์ sqlite ที่ระบุว่าหากคุณต้องการขนาดไฟล์ที่สูงกว่า 1GB คุณอาจต้องการพิจารณาใช้ rdbms ระดับองค์กร ไม่พบอีกต่อไปอาจเกี่ยวข้องกับ SQL เวอร์ชันเก่ากว่า)

อย่างไรก็ตามเพื่อจุดประสงค์ของฉันฉันต้องการทราบว่ามันเลวร้ายเพียงใดก่อนที่ฉันจะพิจารณาโซลูชันอื่น ๆ

ฉันกำลังพูดถึงไฟล์ข้อมูล sqlite ในช่วงหลายกิกะไบต์ตั้งแต่ 2GB เป็นต้นไป ใครมีประสบการณ์กับสิ่งนี้บ้าง เคล็ดลับ / ความคิดใด ๆ

ดังนั้นฉันจึงทำการทดสอบด้วย sqlite สำหรับไฟล์ที่มีขนาดใหญ่มากและมาถึงข้อสรุปบางอย่าง (อย่างน้อยสำหรับแอปพลิเคชันเฉพาะของฉัน)

การทดสอบเกี่ยวข้องกับไฟล์ sqlite ไฟล์เดียวที่มีทั้งตารางเดี่ยวหรือหลายตาราง แต่ละตารางมีประมาณ 8 คอลัมน์, จำนวนเต็มเกือบทั้งหมดและ 4 ดัชนี

แนวคิดคือการแทรกข้อมูลให้เพียงพอจนกระทั่งไฟล์ sqlite มีขนาดประมาณ 50GB

โต๊ะเดี่ยว

ฉันพยายามแทรกหลายแถวลงในไฟล์ sqlite ด้วยตารางเดียว เมื่อไฟล์มีขนาดประมาณ 7GB (ขออภัยฉันไม่สามารถระบุจำนวนแถวได้โดยเฉพาะ) การแทรกใช้เวลานานเกินไป ฉันคาดว่าการทดสอบของฉันจะแทรกข้อมูลทั้งหมดของฉันจะใช้เวลา 24 ชั่วโมงหรือมากกว่านั้น แต่ก็ไม่สมบูรณ์แม้หลังจาก 48 ชั่วโมง

นี่ทำให้ฉันสรุปได้ว่าตาราง sqlite ขนาดใหญ่มากเดียวจะมีปัญหาเกี่ยวกับการแทรกและอาจเป็นการดำเนินการอื่น ๆ ด้วย

ฉันเดาว่านี่ไม่น่าแปลกใจเนื่องจากตารางมีขนาดใหญ่ขึ้นการแทรกและการปรับปรุงดัชนีทั้งหมดใช้เวลานานขึ้น

หลายตาราง

จากนั้นฉันพยายามแยกข้อมูลตามเวลาในหลาย ๆ ตารางหนึ่งตารางต่อวัน ข้อมูลสำหรับ 1 ตารางต้นฉบับถูกแบ่งเป็น ~ 700 ตาราง

การตั้งค่านี้ไม่มีปัญหากับการแทรกมันไม่ใช้เวลานานขึ้นเนื่องจากมีการสร้างตารางใหม่ทุกวัน

ปัญหาสูญญากาศ

ตามที่ระบุโดย i_like_caffeine คำสั่ง VACUUM เป็นปัญหาของไฟล์ sqlite ที่ใหญ่กว่า เมื่อมีการแทรก / ลบมากขึ้นการกระจายตัวของไฟล์บนดิสก์จะแย่ลงดังนั้นเป้าหมายคือ VACUUM เป็นระยะเพื่อปรับไฟล์ให้เหมาะสมและกู้คืนพื้นที่ไฟล์

อย่างไรก็ตามตามที่ระบุไว้ในเอกสารฉบับเต็มสำเนาของฐานข้อมูลถูกสร้างขึ้นมาเพื่อดูดฝุ่นใช้เวลานานมากในการทำให้เสร็จสมบูรณ์ ดังนั้นฐานข้อมูลที่เล็กลงการดำเนินการนี้จะเสร็จเร็วขึ้น

สรุปผลการวิจัย

สำหรับแอปพลิเคชันเฉพาะของฉันฉันอาจแยกข้อมูลออกเป็นไฟล์ db หลายไฟล์ต่อวันเพื่อให้ได้ประสิทธิภาพที่ดีที่สุดทั้งในด้านประสิทธิภาพการดูดฝุ่นและความเร็วในการแทรก / ลบ

สิ่งนี้ทำให้การสืบค้นมีความซับซ้อน แต่สำหรับฉันแล้วมันเป็นการแลกเปลี่ยนที่คุ้มค่าที่จะสามารถจัดทำดัชนีข้อมูลจำนวนมากนี้ได้ ข้อได้เปรียบเพิ่มเติมคือฉันสามารถลบไฟล์ db ทั้งหมดเพื่อทิ้งข้อมูลของวัน (การดำเนินการทั่วไปสำหรับแอปพลิเคชันของฉัน)

ฉันอาจต้องตรวจสอบขนาดตารางต่อไฟล์เช่นกันเพื่อดูว่าความเร็วจะกลายเป็นปัญหาหรือไม่

มันเลวร้ายเกินไปว่ามีไม่ได้ดูเหมือนจะเป็นวิธีที่สูญญากาศที่เพิ่มขึ้นกว่าที่อื่น ๆสูญญากาศอัตโนมัติ ฉันไม่สามารถใช้งานได้เพราะเป้าหมายของฉันสำหรับสูญญากาศคือการจัดเรียงข้อมูลไฟล์ (พื้นที่ไฟล์ไม่ใช่เรื่องใหญ่) ซึ่งการดูดอัตโนมัติไม่ทำ ในความเป็นจริงเอกสารระบุว่ามันอาจทำให้การกระจายตัวแย่ลงดังนั้นฉันจึงต้องหันไปทำไฟล์สุญญากาศเป็นระยะ ๆ

เราใช้ DBS ขนาด 50 GB ขึ้นไปบนแพลตฟอร์มของเรา ไม่มีบ่นใช้งานได้ดี ตรวจสอบให้แน่ใจว่าคุณทำทุกอย่างถูกต้อง! คุณใช้ข้อความที่กำหนดไว้ล่วงหน้าหรือไม่? * SQLITE 3.7.3

1. การทำธุรกรรม
2. งบที่ทำไว้ล่วงหน้า

3. ใช้การตั้งค่าเหล่านี้ (ทันทีหลังจากที่คุณสร้างฐานข้อมูล)

   PRAGMA main.page_size = 4096;
   PRAGMA main.cache_size=10000;
   PRAGMA main.locking_mode=EXCLUSIVE;
   PRAGMA main.synchronous=NORMAL;
   PRAGMA main.journal_mode=WAL;
   PRAGMA main.cache_size=5000;

หวังว่านี่จะช่วยผู้อื่นได้ผลดีมากที่นี่

ฉันสร้างฐานข้อมูล SQLite สูงถึง 3.5GB โดยไม่มีปัญหาเรื่องประสิทธิภาพ ถ้าฉันจำได้อย่างถูกต้องฉันคิดว่า SQLite2 อาจมีขีด จำกัด ที่ต่ำกว่า แต่ฉันไม่คิดว่า SQLite3 จะมีปัญหาดังกล่าว

ตามหน้าSQLite Limitsขนาดสูงสุดของแต่ละหน้าฐานข้อมูลคือ 32K และจำนวนหน้าสูงสุดในฐานข้อมูลคือ 1024 ^ 3 ดังนั้นโดยคณิตศาสตร์ของฉันที่มีขนาดสูงสุด 32 เทราไบต์ ฉันคิดว่าคุณจะถึงขีด จำกัด ของระบบไฟล์ของคุณก่อนที่จะกดปุ่ม SQLite!

สาเหตุส่วนใหญ่ที่ใช้เวลา> 48 ชั่วโมงในการแทรกเม็ดมีดนั้นเป็นเพราะดัชนีของคุณ มันเร็วกว่าอย่างเหลือเชื่อเมื่อ:

1 - ดร็อปดัชนีทั้งหมด 2 - ทำการแทรกทั้งหมด 3 - สร้างดัชนีอีกครั้ง

นอกจากคำแนะนำปกติ:

1. วางดัชนีสำหรับการแทรกจำนวนมาก
2. Batch แทรก / อัพเดทในการทำธุรกรรมขนาดใหญ่
3. ปรับแคชบัฟเฟอร์ของคุณ / ปิดการใช้งาน journal / w PRAGMA
4. ใช้เครื่อง 64 บิต (เพื่อให้สามารถใช้แคชได้มากมาย)
5. [เพิ่มกรกฎาคม 2014] ใช้นิพจน์ตารางทั่วไป (CTE)แทนที่จะเรียกใช้แบบสอบถาม SQL หลายรายการ! ต้องการ SQLite release 3.8.3

ฉันได้เรียนรู้สิ่งต่อไปนี้จากประสบการณ์ของฉันกับ SQLite3:

1. สำหรับความเร็วในการแทรกสูงสุดอย่าใช้สคีมากับข้อ จำกัด ของคอลัมน์ใด ๆ (แก้ไขตารางในภายหลังตามต้องการ คุณไม่สามารถเพิ่มข้อ จำกัด ด้วย ALTER TABLE)
2. เพิ่มประสิทธิภาพสคีมาของคุณเพื่อเก็บสิ่งที่คุณต้องการ บางครั้งนี่หมายถึงการแยกย่อยตารางและ / หรือแม้แต่บีบอัด / แปลงข้อมูลของคุณก่อนที่จะแทรกลงในฐานข้อมูล ตัวอย่างที่ดีคือการจัดเก็บที่อยู่ IP เป็นจำนวนเต็ม (ยาว)
3. หนึ่งตารางต่อไฟล์ db - เพื่อลดความขัดแย้งในการล็อก (ใช้ATTACH DATABASEหากคุณต้องการมีวัตถุเชื่อมต่อเดียว
4. SQLite สามารถเก็บข้อมูลประเภทต่าง ๆ ไว้ในคอลัมน์เดียวกัน (การพิมพ์แบบไดนามิก), ใช้เพื่อประโยชน์ของคุณ

ยินดีต้อนรับคำถาม / ความคิดเห็น ;-)

ฉันคิดว่าข้อร้องเรียนหลักเกี่ยวกับการปรับขนาดของ sqlite คือ:

1. เขียนกระบวนการเดียว
2. ไม่มีการมิเรอร์
3. ไม่มีการจำลองแบบ

ฉันมีฐานข้อมูล SQLite 7GB เพื่อดำเนินการค้นหาเฉพาะกับการเข้าร่วมภายในใช้เวลา 2.6 วินาทีเพื่อเพิ่มความเร็วฉันพยายามเพิ่มดัชนี ขึ้นอยู่กับดัชนีที่ฉันเพิ่มบางครั้งข้อความค้นหาลดลงเหลือ 0.1s และบางครั้งก็เพิ่มขึ้นมากถึง 7s ฉันคิดว่าปัญหาในกรณีของฉันคือถ้าคอลัมน์ซ้ำกันอย่างมากจากนั้นเพิ่มดัชนีลดประสิทธิภาพ:

เคยมีคำสั่งในเอกสารประกอบ SQLite ว่าข้อ จำกัด ขนาดการใช้งานจริงของไฟล์ฐานข้อมูลคือไม่กี่โหล GB: s ส่วนใหญ่เกิดจากความต้องการของ SQLite ในการ "จัดสรรบิตแมปหน้าสกปรก" ทุกครั้งที่คุณเริ่มทำธุรกรรม ดังนั้นจำเป็นต้องใช้ RAM 256 ไบต์สำหรับแต่ละ MB ในฐานข้อมูล การแทรกลงในไฟล์ DB 50 GB จะต้องมีขนาดใหญ่ (2 ^ 8) * (2 ^ 10) = 2 ^ 18 = 256 MB RAM

แต่เมื่อเป็นรุ่นล่าสุดของ SQLite สิ่งนี้ไม่จำเป็นอีกต่อไป อ่านเพิ่มเติมที่นี่

ฉันประสบปัญหากับไฟล์ sqlite ขนาดใหญ่เมื่อใช้คำสั่ง vacuum

ฉันยังไม่ได้ลองใช้คุณสมบัติ auto_vacuum หากคุณคาดหวังว่าจะได้รับการอัปเดตและลบข้อมูลบ่อยๆ