วิธีในการปรับใช้ data versioning ใน MongoDB

คุณสามารถแบ่งปันความคิดของคุณได้อย่างไรว่าคุณจะใช้การปรับรุ่นข้อมูลใน MongoDB อย่างไร (ฉันได้ถามคำถามที่คล้ายกันเกี่ยวกับคาสซานดราถ้าคุณมีความคิดใดที่ดีกว่าสำหรับที่กรุณาแบ่งปัน)

สมมติว่าฉันต้องการบันทึกเวอร์ชันในสมุดที่อยู่ธรรมดา (บันทึกสมุดที่อยู่จะถูกจัดเก็บเป็นวัตถุแบบ json แบบแบน) ฉันคาดหวังว่าประวัติศาสตร์:

• จะถูกใช้ไม่บ่อยนัก
• จะถูกใช้ทั้งหมดในครั้งเดียวเพื่อนำเสนอในแบบ "ไทม์แมชชีน"
• จะไม่มีรุ่นมากกว่าสองสามร้อยเป็นระเบียนเดียว ประวัติจะไม่หมดอายุ

ฉันกำลังพิจารณาแนวทางต่อไปนี้:

• สร้างการรวบรวมวัตถุใหม่เพื่อเก็บประวัติของการบันทึกหรือการเปลี่ยนแปลงกับบันทึก มันจะเก็บวัตถุหนึ่งชิ้นต่อรุ่นโดยมีการอ้างอิงไปยังรายการสมุดที่อยู่ บันทึกดังกล่าวจะมีลักษณะดังนี้:

  {
   '_id': 'รหัสใหม่',
   'ผู้ใช้': user_id
   'timestamp': การประทับเวลา
   'address_book_id': 'id ของบันทึกสมุดรายชื่อ' 
   'old_record': {'first_name': 'Jon', 'last_name': 'Doe' ... }
  }
  

  วิธีการนี้สามารถแก้ไขเพื่อเก็บอาร์เรย์ของเวอร์ชันต่อเอกสาร แต่นี่ดูเหมือนจะช้ากว่าโดยไม่มีข้อได้เปรียบใด ๆ

• จัดเก็บรุ่นเป็นวัตถุที่เป็นอนุกรม (JSON) ที่แนบมากับรายการสมุดที่อยู่ ฉันไม่แน่ใจว่าจะแนบวัตถุดังกล่าวกับเอกสาร MongoDB ได้อย่างไร อาจเป็นชุดของสตริง ( ถ่ายแบบมาจาก Simple Documenting ด้วย CouchDB )

คำถามใหญ่แรกเมื่อดำน้ำในนี้คือ"คุณต้องการจัดเก็บการเปลี่ยนแปลง"อย่างไร

1. diffs?
2. สำเนาบันทึกทั้งหมด?

วิธีการส่วนตัวของฉันคือการแตกต่าง เนื่องจากการแสดงความแตกต่างเหล่านี้เป็นการกระทำพิเศษจริง ๆ ฉันจะใส่ความแตกต่างในคอลเล็กชัน "ประวัติ" ที่แตกต่างกัน

ฉันจะใช้คอลเล็กชันอื่นเพื่อประหยัดพื้นที่หน่วยความจำ โดยทั่วไปคุณไม่ต้องการประวัติเต็มของการสืบค้นแบบง่าย ดังนั้นการป้องกันไม่ให้ประวัติออกมาจากวัตถุคุณยังสามารถเก็บมันไว้ในหน่วยความจำที่เข้าถึงได้โดยทั่วไปเมื่อมีการสอบถามข้อมูล

เพื่อทำให้ชีวิตของฉันง่ายขึ้นฉันจะทำให้เอกสารประวัติมีพจนานุกรมที่มีการประทับเวลาแตกต่างกัน บางสิ่งเช่นนี้

{
    _id : "id of address book record",
    changes : { 
                1234567 : { "city" : "Omaha", "state" : "Nebraska" },
                1234568 : { "city" : "Kansas City", "state" : "Missouri" }
               }
}

เพื่อให้ชีวิตของฉันง่ายขึ้นฉันจะทำให้ส่วนนี้ของ DataObjects ของฉัน (EntityWrapper อะไรก็ตาม) ที่ฉันใช้เพื่อเข้าถึงข้อมูลของฉัน โดยทั่วไปวัตถุเหล่านี้มีรูปแบบของประวัติบางอย่างเพื่อให้คุณสามารถแทนที่save()วิธีการเปลี่ยนแปลงนี้ได้อย่างง่ายดายในเวลาเดียวกัน

อัปเดต: 2015-10

ดูเหมือนว่าขณะนี้มีข้อมูลจำเพาะสำหรับการจัดการ JSON ต่างกัน ดูเหมือนจะเป็นวิธีที่แข็งแกร่งกว่าในการจัดเก็บส่วนต่าง / การเปลี่ยนแปลง

มีรูปแบบการกำหนดเวอร์ชันที่เรียกว่า "Vermongo" ซึ่งกล่าวถึงบางแง่มุมที่ไม่ได้รับการตอบกลับในการตอบกลับอื่น ๆ

หนึ่งในปัญหาเหล่านี้คือการอัปเดตพร้อมกันและอีกเรื่องหนึ่งคือการลบเอกสาร

Vermongo จัดเก็บสำเนาเอกสารที่สมบูรณ์ในชุดเงา สำหรับบางกรณีการใช้งานอาจทำให้เกิดค่าใช้จ่ายมากเกินไป แต่ฉันคิดว่ามันง่ายขึ้นด้วย

https://github.com/thiloplanz/v7files/wiki/Vermongo

นี่คือวิธีแก้ไขปัญหาอื่นโดยใช้เอกสารฉบับเดียวสำหรับเวอร์ชันปัจจุบันและเวอร์ชันเก่าทั้งหมด:

{
    _id: ObjectId("..."),
    data: [
        { vid: 1, content: "foo" },
        { vid: 2, content: "bar" }
    ]
}

dataมีทุกรุ่น dataอาร์เรย์สั่งซื้อรุ่นใหม่จะเพียง แต่ได้รับ$pushed ถึงจุดสิ้นสุดของอาร์เรย์ data.vidเป็นรหัสเวอร์ชันซึ่งเป็นหมายเลขที่เพิ่มขึ้น

รับรุ่นล่าสุด:

find(
    { "_id":ObjectId("...") },
    { "data":{ $slice:-1 } }
)

รับรุ่นเฉพาะโดยvid:

find(
    { "_id":ObjectId("...") },
    { "data":{ $elemMatch:{ "vid":1 } } }
)

ส่งคืนเฉพาะฟิลด์ที่ระบุ:

find(
    { "_id":ObjectId("...") },
    { "data":{ $elemMatch:{ "vid":1 } }, "data.content":1 }
)

แทรกเวอร์ชันใหม่: (และป้องกันการแทรก / อัปเดตพร้อมกัน)

update(
    {
        "_id":ObjectId("..."),
        $and:[
            { "data.vid":{ $not:{ $gt:2 } } },
            { "data.vid":2 }
        ]
    },
    { $push:{ "data":{ "vid":3, "content":"baz" } } }
)

2เป็นvidเวอร์ชันล่าสุดและ3เป็นเวอร์ชั่นใหม่ที่ถูกแทรก เพราะคุณจะต้องเป็นรุ่นล่าสุดของvidมันเป็นเรื่องง่ายที่จะทำจะได้รับรุ่นถัดไป:vidnextVID = oldVID + 1

$andเงื่อนไขจะให้แน่ใจว่าเป็นล่าสุด2vid

วิธีนี้ไม่จำเป็นต้องมีดัชนีที่ไม่ซ้ำกัน แต่ตรรกะของแอปพลิเคชันต้องดูแลการเพิ่มการvidแทรก

ลบเวอร์ชันเฉพาะ:

update(
    { "_id":ObjectId("...") },
    { $pull:{ "data":{ "vid":2 } } }
)

แค่นั้นแหละ!

(จำ 16MB ต่อเอกสาร จำกัด )

หากคุณกำลังมองหาโซลูชันที่พร้อมใช้งาน -

Mongoid ได้สร้างเวอร์ชันง่าย ๆ

http://mongoid.org/en/mongoid/docs/extras.html#versioning

mongoid-history เป็นปลั๊กอิน Ruby ที่ให้บริการโซลูชั่นที่ซับซ้อนยิ่งขึ้นด้วยการตรวจสอบเลิกทำและทำซ้ำ

https://github.com/aq1018/mongoid-history

ฉันทำงานผ่านโซลูชันนี้ที่รองรับการเผยแพร่ข้อมูลฉบับร่างและข้อมูลย้อนหลัง:

{
  published: {},
  draft: {},
  history: {
    "1" : {
      metadata: <value>,
      document: {}
    },
    ...
  }
}

ฉันอธิบายแบบจำลองเพิ่มเติมที่นี่: http://software.danielwatrous.com/representing-revision-data-in-mongodb/

สำหรับผู้ที่อาจนำสิ่งนี้มาใช้ Javaนี่คือตัวอย่าง:

http://software.danielwatrous.com/using-java-to-work-with-versioned-data/

รวมถึงรหัสทั้งหมดที่คุณสามารถแยกได้หากคุณต้องการ

https://github.com/dwatrous/mongodb-revision-objects

หากคุณใช้พังพอนผมพบว่าปลั๊กอินต่อไปนี้จะเป็นประโยชน์ในการใช้รูปแบบJSON Patch

พังพอนแพทช์ประวัติศาสตร์

อีกทางเลือกหนึ่งคือใช้ประวัติพังพอนปลั๊กอิน

let mongoose = require('mongoose');
let mongooseHistory = require('mongoose-history');
let Schema = mongoose.Schema;

let MySchema = Post = new Schema({
    title: String,
    status: Boolean
});

MySchema.plugin(mongooseHistory);
// The plugin will automatically create a new collection with the schema name + "_history".
// In this case, collection with name "my_schema_history" will be created.

ฉันได้ใช้แพ็คเกจด้านล่างสำหรับโครงการ meteor / MongoDB และทำงานได้ดีข้อได้เปรียบหลักคือมันเก็บประวัติ / การแก้ไขภายในอาร์เรย์ในเอกสารเดียวกันดังนั้นจึงไม่จำเป็นต้องมีสิ่งพิมพ์หรือมิดเดิลแวร์เพิ่มเติมเพื่อเข้าถึงประวัติการเปลี่ยนแปลง . สามารถรองรับรุ่นก่อนหน้าจำนวน จำกัด (เช่นสิบรุ่นล่าสุด) นอกจากนี้ยังรองรับการเปลี่ยนแปลงการต่อข้อมูล (ดังนั้นการเปลี่ยนแปลงทั้งหมดที่เกิดขึ้นภายในระยะเวลาที่กำหนดจะถูกครอบคลุมโดยการแก้ไขหนึ่งครั้ง)

nicklozon / ดาวตกคอลเลกชันการแก้ไข

ตัวเลือกเสียงอื่นคือใช้ Meteor Vermongo ( ที่นี่ )