การจัดการหน่วยความจำ R / ไม่สามารถจัดสรรเวกเตอร์ที่มีขนาด n Mb

ฉันพบปัญหาในการพยายามใช้วัตถุขนาดใหญ่ใน R ตัวอย่างเช่น:

> memory.limit(4000)
> a = matrix(NA, 1500000, 60)
> a = matrix(NA, 2500000, 60)
> a = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb
> a = matrix(NA, 2500000, 60)
Error: cannot allocate vector of size 572.2 Mb # Can't go smaller anymore
> rm(list=ls(all=TRUE))
> a = matrix(NA, 3500000, 60) # Now it works
> b = matrix(NA, 3500000, 60)
Error: cannot allocate vector of size 801.1 Mb # But that is all there is room for

ฉันเข้าใจว่าสิ่งนี้เกี่ยวข้องกับความยากลำบากในการได้รับบล็อกหน่วยความจำต่อเนื่อง (จากที่นี่ ):

ข้อความแสดงข้อผิดพลาดที่เริ่มต้นไม่สามารถจัดสรรเวกเตอร์ที่มีขนาดระบุความล้มเหลวในการรับหน่วยความจำเนื่องจากขนาดเกินขีด จำกัด พื้นที่ที่อยู่สำหรับกระบวนการหรือมีแนวโน้มมากขึ้นเนื่องจากระบบไม่สามารถให้หน่วยความจำได้ โปรดทราบว่าในรุ่น 32 บิตอาจมีหน่วยความจำว่างเพียงพอ แต่ไม่มีบล็อกที่อยู่ติดต่อกันขนาดใหญ่พอที่จะแมป

ฉันจะแก้ไขสิ่งนี้ได้อย่างไร ปัญหาหลักของฉันคือฉันไปถึงจุดหนึ่งในสคริปต์ของฉันและ R ไม่สามารถจัดสรร 200-300 Mb สำหรับวัตถุ ... ฉันไม่สามารถจัดสรรบล็อกได้ล่วงหน้าเพราะฉันต้องการหน่วยความจำสำหรับการประมวลผลอื่น ๆ สิ่งนี้เกิดขึ้นแม้เมื่อฉันเอาวัตถุที่ไม่จำเป็นออกไปอย่างไม่ตั้งใจ

แก้ไข: ใช่ขอโทษ: Windows XP SP3, 4Gb RAM, R 2.12.0:

> sessionInfo()
R version 2.12.0 (2010-10-15)
Platform: i386-pc-mingw32/i386 (32-bit)

locale:
[1] LC_COLLATE=English_Caribbean.1252  LC_CTYPE=English_Caribbean.1252   
[3] LC_MONETARY=English_Caribbean.1252 LC_NUMERIC=C                      
[5] LC_TIME=English_Caribbean.1252    

attached base packages:
[1] stats     graphics  grDevices utils     datasets  methods   base

พิจารณาว่าคุณต้องการข้อมูลทั้งหมดนี้อย่างชัดเจนหรือไม่หรือเมทริกซ์จะกระจัดกระจาย? มีการสนับสนุนที่ดีใน R (ดูMatrixแพ็คเกจสำหรับเช่น) สำหรับเมทริกซ์กระจัดกระจาย

ทำให้กระบวนการและวัตถุอื่น ๆ ทั้งหมดใน R ให้น้อยที่สุดเมื่อคุณต้องการสร้างวัตถุที่มีขนาดนี้ ใช้gc()เพื่อล้างหน่วยความจำที่ไม่ได้ใช้ในขณะนี้หรือสร้างวัตถุที่คุณต้องการในเซสชันเดียวเท่านั้น

หากสิ่งที่กล่าวมาข้างต้นไม่สามารถช่วยเหลือได้ให้ใช้เครื่อง 64- บิตที่มี RAM มากเท่าที่คุณสามารถซื้อได้และติดตั้ง R 64- บิต

หากคุณไม่สามารถทำได้มีบริการออนไลน์มากมายสำหรับการใช้คอมพิวเตอร์ระยะไกล

หากคุณไม่สามารถทำเช่นนั้นเครื่องมือการแมปหน่วยความจำเช่นแพ็คเกจff(หรือbigmemoryตามที่ Sascha กล่าวถึง) จะช่วยคุณสร้างโซลูชันใหม่ จากประสบการณ์ที่ จำกัด ของฉันffคือแพ็คเกจขั้นสูง แต่คุณควรอ่านHigh Performance Computingหัวข้อในมุมมองภารกิจ CRAN

สำหรับผู้ใช้ Windows สิ่งต่อไปนี้ช่วยให้ฉันเข้าใจข้อ จำกัด ของหน่วยความจำได้มาก:

• ก่อนที่จะเปิด R ให้เปิดการตรวจสอบทรัพยากรของ Windows (Ctrl-Alt-Delete / Start แท็บตัวจัดการงาน / ประสิทธิภาพ / คลิกที่ปุ่มด้านล่าง 'การตรวจสอบทรัพยากร' / แท็บหน่วยความจำ)
• คุณจะเห็นจำนวนหน่วยความจำ RAM ที่เราใช้ไปแล้วก่อนที่คุณจะเปิด R และแอปพลิเคชันใด ในกรณีของฉันใช้ 1.6 GB จาก 4GB ทั้งหมด ดังนั้นฉันจะได้รับ 2.4 GB สำหรับ R เท่านั้น แต่ตอนนี้แย่ลง ...
• เปิด R และสร้างชุดข้อมูล 1.5 GB จากนั้นลดขนาดลงเหลือ 0.5 GB Resource Monitor แสดงว่า RAM ของฉันถูกใช้งานเกือบ 95%
• use gc()to do garbage collection => ใช้งานได้ฉันสามารถเห็นการใช้หน่วยความจำลดลงเหลือ 2 GB

คำแนะนำเพิ่มเติมที่ใช้กับเครื่องของฉัน:

• เตรียมคุณสมบัติบันทึกเป็นไฟล์ RData ปิด R เปิดใหม่ R และโหลดคุณสมบัติรถไฟ ผู้จัดการฝ่ายทรัพยากรมักจะแสดงให้เห็นถึงการใช้งานหน่วยความจำลดลงซึ่งหมายความว่าแม้ GC () ไม่กู้คืนหน่วยความจำที่เป็นไปได้ทั้งหมดและปิด / เปิดใหม่ R ทำงานที่ดีที่สุดที่จะเริ่มต้นกับหน่วยความจำสูงสุดที่มีอยู่
• เคล็ดลับอีกอย่างคือโหลดเฉพาะชุดรถไฟสำหรับการฝึกอบรม (ไม่โหลดชุดทดสอบซึ่งโดยทั่วไปจะมีขนาดครึ่งหนึ่งของชุดรถไฟ) ขั้นตอนการฝึกอบรมสามารถใช้หน่วยความจำสูงสุด (100%) ดังนั้นสิ่งที่มีอยู่จึงมีประโยชน์ ทั้งหมดนี้ใช้กับเม็ดเกลือในขณะที่ฉันกำลังทดลองกับขีด จำกัด หน่วยความจำ R

นี่คืองานนำเสนอในหัวข้อนี้ที่คุณอาจสนใจ:

http://www.bytemining.com/2010/08/taking-r-to-the-limit-part-ii-large-datasets-in-r/

ฉันยังไม่ได้ลองสิ่งที่พูดถึง แต่bigmemoryดูเหมือนว่าแพคเกจจะมีประโยชน์มาก

วิธีที่ง่ายที่สุดในการก้าวเท้าเลี่ยงข้อ จำกัด นี้คือเปลี่ยนเป็น 64 บิต R

ฉันพบปัญหาที่คล้ายกันและฉันใช้แฟลชไดรฟ์ 2 รูปแบบเป็น 'ReadyBoost' ไดรฟ์ทั้งสองให้การเพิ่มหน่วยความจำ 8GB เพิ่มเติม (สำหรับแคช) และแก้ไขปัญหาและเพิ่มความเร็วของระบบโดยรวม หากต้องการใช้ Readyboost ให้คลิกขวาที่ไดรฟ์ไปที่คุณสมบัติและเลือกปุ่มตัวเลือก 'ReadyBoost' และเลือก 'ใช้อุปกรณ์นี้' แล้วคลิก Apply หรือตกลงเพื่อกำหนดค่า

ฉันตามไปที่หน้าช่วยเหลือของ mem.limit และพบว่าในคอมพิวเตอร์ R โดยค่าเริ่มต้นสามารถใช้ RAM ได้สูงสุด ~ 1.5 GB และผู้ใช้สามารถเพิ่มขีด จำกัด นี้ได้ ใช้รหัสต่อไปนี้

>memory.limit()
[1] 1535.875
> memory.limit(size=1800)

ช่วยฉันแก้ปัญหาของฉัน

หากคุณใช้งานสคริปต์ที่สภาพแวดล้อม linux คุณสามารถใช้คำสั่งนี้:

bsub -q server_name -R "rusage[mem=requested_memory]" "Rscript script_name.R"

และเซิร์ฟเวอร์จะจัดสรรหน่วยความจำที่ร้องขอให้คุณ (ตามข้อ จำกัด ของเซิร์ฟเวอร์ แต่ด้วยเซิร์ฟเวอร์ที่ดี - สามารถใช้ไฟล์ขนาดใหญ่ได้)

วิธีการบันทึก / โหลดที่กล่าวถึงข้างต้นใช้งานได้สำหรับฉัน ฉันไม่แน่ใจว่า / ถ้าgc()defrags หน่วยความจำ แต่ดูเหมือนว่าจะทำงาน

# defrag memory 
save.image(file="temp.RData")
rm(list=ls())
load(file="temp.RData")