ขั้นตอนการเรียงลำดับมากเกินไปการใช้ข้อมูลบัฟเฟอร์เกินขีด จำกัด ภายใน

การใช้รหัส:

all_reviews = db_handle.find().sort('reviewDate', pymongo.ASCENDING)
print all_reviews.count()

print all_reviews[0]
print all_reviews[2000000]

นับพิมพ์และการพิมพ์2043484all_reviews[0]

อย่างไรก็ตามเมื่อพิมพ์all_reviews[2000000]ฉันได้รับข้อผิดพลาด:

pymongo.errors.OperationFailure: ข้อผิดพลาดฐานข้อมูล: ข้อผิดพลาดของนักวิ่ง: การจัดเรียงลำดับขั้นตอนที่มากเกินไปการใช้ข้อมูลบัฟเฟอร์ของ 33554495 ไบต์เกินขีด จำกัด ภายในที่ 33554432 ไบต์

ฉันจะจัดการสิ่งนี้ได้อย่างไร?

คุณพบขีด จำกัด 32MB ในการจัดเรียงในหน่วยความจำ:

https://docs.mongodb.com/manual/reference/limits/#Sort-Operations

เพิ่มดัชนีในฟิลด์การเรียงลำดับ ซึ่งช่วยให้ MongoDB สามารถสตรีมเอกสารถึงคุณตามลำดับที่จัดเรียงแทนที่จะพยายามโหลดทั้งหมดลงในหน่วยความจำบนเซิร์ฟเวอร์และจัดเรียงในหน่วยความจำก่อนที่จะส่งไปยังไคลเอนต์

ตามที่กล่าวไว้kumar_harshในส่วนความคิดเห็นฉันต้องการเพิ่มประเด็นอื่น

คุณสามารถดูการใช้งานบัฟเฟอร์ปัจจุบันโดยใช้คำสั่งด้านล่างบนadminฐานข้อมูล:

> use admin
switched to db admin
> db.runCommand( { getParameter : 1, "internalQueryExecMaxBlockingSortBytes" : 1 } )
{ "internalQueryExecMaxBlockingSortBytes" : 33554432, "ok" : 1 }

มีค่าเริ่มต้น32 MB (33554432 ไบต์)ในกรณีนี้คุณกำลังใช้งานข้อมูลบัฟเฟอร์ไม่ดังนั้นคุณจึงสามารถเพิ่มขีด จำกัด บัฟเฟอร์ด้วยค่าที่เหมาะสมที่คุณกำหนดเองเช่น 50 MB ดังต่อไปนี้:

>  db.adminCommand({setParameter: 1, internalQueryExecMaxBlockingSortBytes:50151432})
{ "was" : 33554432, "ok" : 1 }

นอกจากนี้เรายังสามารถตั้งค่าขีด จำกัด นี้อย่างถาวรโดยใช้พารามิเตอร์ด้านล่างในไฟล์ config mongodb:

setParameter=internalQueryExecMaxBlockingSortBytes=309715200

หวังว่านี่จะช่วยได้ !!!

Note: คำสั่งนี้รองรับหลังจากเวอร์ชัน 3.0 ขึ้นไปเท่านั้น

แก้ไขด้วยการสร้างดัชนี

db_handle.ensure_index([("reviewDate", pymongo.ASCENDING)])

หากคุณต้องการหลีกเลี่ยงการสร้างดัชนี (เช่นคุณแค่ต้องการตรวจสอบอย่างรวดเร็วและสกปรกเพื่อสำรวจข้อมูล) คุณสามารถใช้การรวมกับการใช้ดิสก์:

all_reviews = db_handle.aggregate([{$sort: {'reviewDate': 1}}], {allowDiskUse: true})

(ไม่แน่ใจว่าจะทำอย่างไรใน pymongo)

ไวยากรณ์ JavaScript API สำหรับดัชนี:

db_handle.ensureIndex({executedDate: 1})

ในกรณีของฉันจำเป็นต้องแก้ไขดัชนี nessary ในรหัสและสร้างขึ้นใหม่:

rake db:mongoid:create_indexes RAILS_ENV=production

เนื่องจากหน่วยความจำล้นไม่เกิดขึ้นเมื่อมีดัชนีฟิลด์ที่จำเป็น

ป.ล.ก่อนหน้านี้ฉันต้องปิดการใช้งานข้อผิดพลาดเมื่อสร้างดัชนีแบบยาว:

# mongo
MongoDB shell version: 2.6.12
connecting to: test
> db.getSiblingDB('admin').runCommand( { setParameter: 1, failIndexKeyTooLong: false } )

อาจจำเป็นreIndex:

# mongo
MongoDB shell version: 2.6.12
connecting to: test
> use your_db
switched to db your_db
> db.getCollectionNames().forEach( function(collection){ db[collection].reIndex() } )