วิธีออกแบบฐานข้อมูลสำหรับจัดเก็บรายการที่เรียงลำดับ?

ฉันต้องการจัดเก็บรายการที่เรียงลำดับไว้ในฐานข้อมูล ฉันต้องการดำเนินการต่อไปนี้อย่างมีประสิทธิภาพ

1. Insert (x) - แทรก record x ลงในตาราง
2. ลบ (x) - ลบบันทึก x จากตาราง
3. ก่อนหน้า (x, n) - ส่งคืนระเบียน 'n' ก่อนหน้าระเบียน x ในรายการที่เรียงลำดับ
4. หลังจาก (x, n) - ส่งคืนระเบียน 'n' ที่ประสบความสำเร็จในการบันทึก x ในรายการที่เรียงลำดับ
5. First (n) - ส่งคืนระเบียน 'n' แรกจากรายการที่เรียงลำดับ
6. Last (n) - ส่งคืนระเบียน 'n' ล่าสุดจากรายการที่เรียงลำดับ
7. เปรียบเทียบ (x, y) - ให้สองเรคคอร์ด x และ y จากตารางค้นหาถ้า x> y

วิธีง่าย ๆ ที่ฉันคิดได้ก็คือเก็บแอตทริบิวต์ 'อันดับ' ไว้ในตารางและแบบสอบถามโดยการเรียงลำดับในแอตทริบิวต์นั้น แต่ในวิธีนี้การแทรก / แก้ไขเรคคอร์ดที่มีอันดับจะเป็นการดำเนินการที่มีค่าใช้จ่ายสูง มีวิธีที่ดีกว่านี้ไหม?

โดยเฉพาะฉันต้องการใช้ตารางโดยใช้ SimpleDB ของ Amazon แต่คำตอบทั่วไปสำหรับฐานข้อมูลเชิงสัมพันธ์ก็ควรมีประโยชน์เช่นกัน

อัปเดตเมื่อโหลดโปรไฟล์:

เนื่องจากฉันกำลังวางแผนสิ่งนี้สำหรับเว็บแอปพลิเคชันมันขึ้นอยู่กับจำนวนผู้ใช้ที่ใช้แอป

หากมีผู้ใช้ที่ใช้งาน 100k (การมองในแง่ดีสุด: P) การประมาณการโดยประมาณต่อวันของฉันจะเป็นเช่นนั้น

เลือก 500k, แทรกและลบ 100k, อัปเดต 500k

ฉันคาดว่าตารางจะโตขึ้นมากถึง 500k

ฉันกำลังมองหาที่จะปรับให้เหมาะสมกับการปรับปรุงแทรกและการดำเนินการเปรียบเทียบ อันดับของรายการจะมีการเปลี่ยนแปลงอยู่ตลอดเวลาและฉันจำเป็นต้องปรับปรุงตาราง

หากลำดับโดยพลการไม่สมบูรณ์ แต่แทนที่จะได้มาจากคุณสมบัติอื่น ๆ (ชื่อเช่นคะแนนผู้เล่นอื่น ๆ ) แล้วจะดูดีที่คำตอบของโจเอล

หากเป็นคุณสมบัติของข้อมูลของคุณเองข้อมูลนั้นควรถูกจัดเก็บเป็นคอลัมน์ในสารบัญของคุณ สมมติว่า SimpleDB ของ Amazon นั้นคล้ายคลึงกับ RDBMS ทั่วไปคุณสามารถสร้างดัชนีคอลัมน์นี้และตอบสนองการสืบค้นทั้งหมดข้างต้นได้อย่างรวดเร็วด้วยกลยุทธ์การจัดทำดัชนีที่เหมาะสม นี่เป็นเรื่องปกติสำหรับ RDBMS

เนื่องจากคุณคาดว่าจะมีการแทรกและอัปเดตกิจกรรมสูง แต่ก็เป็นกิจกรรมการอ่านที่ค่อนข้างสูงฉันขอแนะนำให้ทำสิ่งต่อไปนี้:

• จัดกลุ่มตารางตามลำดับโดยเฉพาะอย่างยิ่งหากข้อความค้นหาส่วนใหญ่ของคุณไม่ตรงกับอันดับ หากไม่มีหรือหากเลือกคีย์การทำคลัสเตอร์ไม่พร้อมใช้งานใน SimpleDB ให้สร้างดัชนีที่มีอันดับเป็นคอลัมน์นำ สิ่งนี้จะตอบสนองการสืบค้น 3-6
• ดัชนีในระเบียนก่อนแล้วจึงจัดอันดับ (หรือในโลกของ SQL Server เพียงแค่บันทึกและINCLUDEจัดอันดับ -ing หรือเพียงบันทึกถ้าคุณทำคลัสเตอร์บนอันดับ) จะเป็นไปตามแบบสอบถาม 7
• การดำเนินการ 1 และ 2 สามารถปรับให้เหมาะสมโดยการกระจายข้อมูลของคุณอย่างเหมาะสม (เช่นการตั้งค่าFILLFACTORใน SQL Server) สิ่งนี้สำคัญอย่างยิ่งหากคุณจัดกลุ่มเป็นอันดับ
• ในขณะที่คุณแทรกหรืออัปเดตอันดับรักษาช่วงห่างระหว่างหมายเลขอันดับให้มากที่สุดเพื่อลดความเป็นไปได้ที่คุณจะต้องจัดอันดับระเบียนที่มีอยู่อีกครั้งเพื่อรองรับการแทรกอันดับหรือปรับปรุงอันดับ ตัวอย่างเช่นหากคุณจัดอันดับระเบียนของคุณในขั้นตอน 1,000 คุณออกจากพื้นที่เพียงพอสำหรับประมาณครึ่งหนึ่งที่มีการเปลี่ยนแปลงและแทรกจำนวนมากโดยมีโอกาสน้อยที่สุดคุณจะต้องจัดอันดับบันทึกใหม่ที่ไม่เกี่ยวข้องโดยตรงกับการเปลี่ยนแปลงเหล่านั้น
• ทุกคืนจะจัดอันดับระเบียนทั้งหมดใหม่เพื่อรีเซ็ตช่องว่างอันดับระหว่างพวกเขา
• คุณสามารถปรับความถี่ของการจัดอันดับซ้ำรวมทั้งขนาดช่องว่างอันดับเพื่อรองรับจำนวนการแทรกหรือการปรับปรุงที่คุณคาดว่าสัมพันธ์กับจำนวนของระเบียนที่มีอยู่ ดังนั้นหากคุณมีบันทึก 100K และคาดว่าส่วนแทรกและการอัปเดตของคุณจะเป็น 10% ของจำนวนนั้นให้เหลือที่ว่างสำหรับอันดับใหม่ 10K และจัดอันดับใหม่ทุกคืน
• การจัดอันดับระเบียน 500K อีกครั้งเป็นการดำเนินการที่มีราคาแพง แต่การทำวันละครั้งหรือสัปดาห์ละครั้งนอกเวลาควรจะดีสำหรับฐานข้อมูลเช่นนั้น การจัดอันดับใหม่นอกเวลาทำการเพื่อรักษาช่องว่างอันดับคือสิ่งที่ช่วยให้คุณไม่ต้องจัดอันดับระเบียนจำนวนมากอีกครั้งสำหรับการอัปเดตหรือการจัดอันดับแต่ละครั้งในช่วงเวลาปกติและสูงสุด

หากคุณคาดหวัง 100K + อ่านบนตารางขนาด 100K ฉันไม่แนะนำให้ใช้วิธีการเชื่อมโยงรายการ มันจะไม่ขยายขนาดได้ดีกับขนาดเหล่านั้น

ฉันมักจะใช้วิธีการ "อันดับ" ที่คุณอธิบาย แทนที่จะยุ่งกับการอัพเดทแถวเมื่อจำเป็นต้องจัดลำดับรายการใหม่บ่อยครั้งที่ฉันสามารถลบออกได้ด้วยการลบระเบียนทั้งหมดในรายการและแทรกรายการใหม่ในลำดับที่ถูกต้อง วิธีนี้เหมาะสำหรับการดึงอย่างชัดเจน

ทางเลือกอื่นคือการสร้างแบบจำลองข้อมูลเป็นรายการที่เชื่อมโยงโดยใช้คอลัมน์ "คีย์ก่อนหน้า" แบบสะท้อนกลับต่างประเทศบนตาราง:

ID   setID   item       predecessor
---  ------  ------     ------------
1    1       Apple      null
2    1       Orange     1
3    2       Cucumber   null
4    1       Pear       2
5    1       Grape      4
6    2       Carrot     3

คุณสามารถเรียกดูรายการและเพิ่มและลบรายการที่มีค่าใช้จ่ายเพียงเล็กน้อย แต่การได้รับระเบียนตามลำดับที่เหมาะสมจะยุ่งยาก อาจมีวิธีที่ชาญฉลาดในการสืบค้นเดียวอาจมีตาราง aliased จำนวนมากเข้าร่วม

ฉันใช้วิธีการหลังนี้บ่อยครั้งเมื่อฉันสร้างแบบจำลองความสัมพันธ์แบบต้นไม้ (หมวดหมู่โฟลเดอร์ชุดและชุดย่อย) โดยทั่วไปแล้วฉันมีฟังก์ชั่นวนซ้ำเพื่อสร้างต้นไม้แบบเต็มในแอปพลิเคชันของฉัน

ฉันคิดว่าสิ่งที่ต้องทำคือการจัดเก็บคุณสมบัติหรือคุณสมบัติที่ใช้ในการคำนวณอันดับแล้วสร้างดัชนีเหนือพวกเขา แทนที่จะพยายามบังคับให้ฐานข้อมูลจัดเก็บข้อมูลตามลำดับหรือใช้รายการลิงก์ที่จัดการด้วยตนเองทำไมไม่ให้เอ็นจิ้นฐานข้อมูลทำในสิ่งที่ถูกออกแบบมาให้ทำ?

นี่เป็นข้อ จำกัด ของ non-RDBMS เช่น simpleDB คุณสมบัติที่คุณต้องการไม่สามารถใช้งานได้ในฝั่ง DB ใน SimpleDB แต่จะต้องมีการใช้งานจากด้านการเขียนโปรแกรม / แอปพลิเคชัน

สำหรับ RDBMS ที่ต้องการSQL serverคุณสมบัติที่คุณต้องการจะเป็นพื้นฐานสำหรับดัชนีคลัสเตอร์

• แทรก (x) - แทรกบันทึก x ลงในตาราง> แทรกอย่างง่าย
• ลบ (x) - ลบบันทึก x จากตาราง> ลบอย่างง่าย

• ก่อนหน้า (x, n) - ส่งคืนระเบียน 'n' ก่อนหน้าระเบียน x ในรายการที่เรียงลำดับ > เลือกผลลัพธ์ยอดนิยม n โดยที่ x น้อยกว่ามูลค่าและเรียงลำดับตามข้อ

• หลังจาก (x, n) - ส่งคืนระเบียน 'n' ที่ประสบความสำเร็จในการบันทึก x ในรายการที่เรียงลำดับ > เลือกผลลัพธ์ยอดนิยม n โดยที่ x มากกว่ามูลค่าและคำสั่งซื้อตามข้อ

• First (n) - ส่งคืนระเบียน 'n' แรกจากรายการที่เรียงลำดับ > เลือกผลลัพธ์ยอดนิยม n

• Last (n) - ส่งคืนระเบียน 'n' ล่าสุดจากรายการที่เรียงลำดับ > เลือกผลลัพธ์ยอดนิยม n หลังจากสั่งซื้อโดยเรียง

• เปรียบเทียบ (x, y) - ให้สองเรคคอร์ด x และ y จากตารางค้นหาถ้า x> y > คำสั่ง TSQL IF

นี่คือสิ่งที่ฉันใช้ในการจัดอันดับตาราง Postgres ของฉันใหม่หลังจากแทรกทุกครั้ง:

CREATE OR REPLACE FUNCTION re_rank_list() RETURNS trigger AS $re_rank_list$
DECLARE
    temprow record;
    row_idx integer := 1;    
BEGIN
    FOR temprow IN
    SELECT * FROM your_schema.your_list WHERE list_id = NEW.list_id ORDER BY rank ASC
    LOOP
        UPDATE your_schema.your_list SET rank = row_idx * 100 WHERE id = temprow.id;
        row_idx := row_idx + 1;
    END LOOP;
    RETURN NEW;
END;
$re_rank_list$ LANGUAGE plpgsql;


CREATE TRIGGER re_rank_list AFTER UPDATE ON your_schema.your_list_value
    FOR EACH ROW 
    WHEN (pg_trigger_depth() = 0)
    EXECUTE PROCEDURE re_rank_list();

สำหรับการใช้งานของฉันประสิทธิภาพไม่ได้เป็นข้อกังวล แต่ความมั่นใจว่ามันจะไม่ผิดเพี้ยนหรือมีพฤติกรรมผิดปกติเป็นสิ่งสำคัญ