ฉันประสบปัญหาประสิทธิภาพการทำงานโดยใช้MCMCglmmแพ็คเกจใน R เพื่อเรียกใช้โมเดลเอฟเฟกต์แบบผสม รหัสมีลักษณะดังนี้:
MC1<-MCMCglmm(bull~1,random=~school,data=dt,family="categorical"
, prior=list(R=list(V=1,fix=1), G=list(G1=list(V=1, nu=0)))
, slice=T, nitt=iter, ,burnin=burn, verbose=F)มีการสำรวจข้อมูลประมาณ 20,000 ครั้งและมีการรวมกลุ่มกันในโรงเรียนประมาณ 200 แห่ง ฉันลบตัวแปรที่ไม่ได้ใช้ทั้งหมดจากดาต้าเฟรมและลบวัตถุอื่นทั้งหมดออกจากหน่วยความจำก่อนที่จะทำงาน ปัญหาที่ฉันมีคือมันใช้เวลานานมากในการรันยกเว้นว่าฉันจะลดการวนซ้ำให้เหลือน้อยมาก ด้วย 50,000 ซ้ำมันใช้เวลา 5 ชั่วโมงและฉันมีรูปแบบที่แตกต่างกันมากมายในการทำงาน ดังนั้นฉันต้องการทราบว่ามีวิธีเร่งความเร็วในการเรียกใช้รหัสหรือแพ็คเกจอื่น ๆ ที่ฉันสามารถใช้ได้ ฉันใช้MCMCglmmเพราะฉันต้องการช่วงความมั่นใจสำหรับเอฟเฟกต์แบบสุ่ม
ในทางกลับกันฉันหวังว่าจะได้รับพีซีเครื่องใหม่ในปีนี้ แต่โชคดีที่ฉันสามารถนำมันไปข้างหน้าได้ดังนั้นฉันจึงสงสัยว่าจะใช้เงินจำนวน จำกัด กับฮาร์ดแวร์ใหม่ได้ดีที่สุด - RAM เพิ่มเติม เร็วกว่าซีพียู ฯลฯ จากการดูตัวจัดการงานฉันไม่เชื่อว่า RAM เป็นปัญหา (ไม่เคยใช้งานเกิน 50% ของการใช้งานจริง) แต่การใช้งาน CPU ไม่ได้สูงกว่า 50% มากซึ่งทำให้ฉันแปลก . การตั้งค่าปัจจุบันของฉันคือ intel core i5 2.66GHz, 4GB RAM, 7200rpm HDD มันสมเหตุสมผลหรือไม่ที่จะได้รับ CPU ที่เร็วที่สุดเท่าที่จะเป็นไปได้ด้วยค่าใช้จ่ายของ RAM เพิ่มเติม? ฉันยังสงสัยเกี่ยวกับผลกระทบของขนาดแคช CPU ระดับ 3 ต่อปัญหาการคำนวณทางสถิติเช่นนี้
ปรับปรุง:มีการถามเกี่ยวกับเมตาดังนั้นฉันได้รับการแนะนำให้ใช้คำถามใหม่และโพสต์บน Superuser ในการทำเช่นนั้นฉันต้องให้รายละเอียดเพิ่มเติมเกี่ยวกับสิ่งที่เกิดขึ้น "ภายใต้ประทุน" ใน MCMCglmm ฉันคิดถูกหรือไม่ว่าการคำนวณจำนวนมากใช้เวลาในการปรับให้เหมาะสม - ฉันหมายถึงการหาฟังก์ชันที่ซับซ้อนมากที่สุด? การผกผันของเมทริกซ์และ / หรือการดำเนินการพีชคณิตเชิงเส้นอื่น ๆ เป็นงานทั่วไปที่อาจทำให้เกิดปัญหาคอขวดได้หรือไม่? ข้อมูลอื่นใดที่ฉันสามารถให้กับชุมชน Superuser จะได้รับสุดซึ้งมากที่สุด
lmer()รุ่นที่เหมาะสมกับชุดข้อมูลขนาดใหญ่อาจใช้เวลาสักครู่โดยเฉพาะถ้าคุณต้องทำหลายครั้ง คำตอบสำหรับคำถามของคุณอาจอยู่ในการคำนวณแบบขนานแม้ว่าผู้ใช้รายอื่น (เช่น @DirkEddelbuettel) จะมีประโยชน์มากกว่าฉันด้วยสิ่งนี้ นอกจากนี้ยังมีโอกาสที่คุณอาจได้รับคำตอบที่ดีขึ้นเกี่ยวกับ stackoverflow
glmer(ตามที่คุณทราบจากโพสต์อื่น ๆ ของฉัน) และใช้เวลาประมาณ 20 วินาที แต่ปัญหาคือมันไม่ให้ความมั่นใจหรือข้อผิดพลาดมาตรฐานและจากสิ่งที่ฉันอ่านในรายชื่อผู้รับจดหมายที่เก็บถาวรของผู้เขียนlme4แพคเกจบอกว่าการกระจายตัวตัวอย่างของเอฟเฟกต์แบบสุ่มอาจเบ้มากดังนั้นสถิติเหล่านั้นจะไม่ถูกรายงาน ที่จริงฉันพบตั้งแต่MCMCglmmนั้นมาว่าในกรณีของฉันพวกเขากำลังเข้าใกล้ปกติ (ไม่ว่าสิ่งนี้จะช่วยได้มาก - ฉันแค่พูด) จะดีกว่าไหมถ้าฉันขอโอนย้ายเป็น SO