การอ้างอิงการเพิ่มประสิทธิภาพเชิงตัวเลขสำหรับนักสถิติ

ฉันกำลังมองหาการอ้างอิงที่มั่นคง (หรือการอ้างอิง) เกี่ยวกับเทคนิคการเพิ่มประสิทธิภาพเชิงตัวเลขที่มุ่งเป้าไปที่นักสถิตินั่นคือมันจะใช้วิธีการเหล่านี้กับปัญหาเชิงอนุมานมาตรฐาน (เช่น MAP / MLE ในแบบจำลองทั่วไป) สิ่งต่าง ๆ เช่นการไล่ระดับสี (ตรงและสุ่ม), EM และ spinoffs / ภาพรวม, การจำลองการหลอม ฯลฯ

ฉันหวังว่ามันจะมีบันทึกการใช้งานจริงบางอย่าง (มักขาดในเอกสาร) ไม่จำเป็นต้องชัดเจนอย่างสมบูรณ์ แต่อย่างน้อยก็ควรมีบรรณานุกรมที่เป็นของแข็ง

การค้นหาคร่าวๆปรากฏขึ้นมาสองสามข้อความ: การวิเคราะห์เชิงตัวเลขสำหรับนักสถิติโดย Ken Lange และวิธีการเชิงตัวเลขของ John Monahan ความเห็นของแต่ละคนดูหลากหลาย (และกระจัดกระจาย) จากการตรวจสารบัญสองอย่างแสดงให้เห็นว่าหนังสือของ Lange ฉบับที่ 2 นั้นใกล้เคียงกับสิ่งที่ฉันทำมากที่สุด

สถิติการคำนวณของ James Gentle (2009)

พีชคณิตเมทริกซ์ของเจมส์เจนเทิล: ทฤษฎีการคำนวณและแอปพลิเคชั่นในสถิติ (2007)ยิ่งไปกว่านั้นในตอนท้ายของหนังสือจุดเริ่มต้นก็ดีเช่นกัน แต่ก็ไม่ใช่สิ่งที่คุณกำลังมองหา

การจดจำรูปแบบของ Christopher M. Bishop (2006)

Hastie et al.'s องค์ประกอบของการเรียนรู้ทางสถิติ: data mining, อนุมานและการทำนาย (2009)

คุณกำลังมองหาบางสิ่งในระดับต่ำเหมือนข้อความที่จะตอบคำถามเช่น: "ทำไมมันมีประสิทธิภาพมากกว่าในการจัดเก็บเมทริกซ์และอาร์เรย์มิติที่สูงขึ้นเป็นอาร์เรย์ 1 มิติและฉันจะจัดทำดัชนีใน M แบบปกติได้อย่างไร (0, 1, 3, ... ) ใช่ไหม? " หรือบางอย่างเช่น "เทคนิคทั่วไปที่ใช้ในการเพิ่มประสิทธิภาพอัลกอริธึมมาตรฐานเช่นการไล่ระดับสีไล่ระดับ EM ฯลฯ คืออะไร"

ข้อความส่วนใหญ่เกี่ยวกับการเรียนรู้ของเครื่องจะให้การอภิปรายเชิงลึกของหัวข้อที่คุณกำลังมองหา

หนังสือ Nocedal และ Wrights

http://users.eecs.northwestern.edu/~nocedal/book/

เป็นการอ้างอิงที่ดีสำหรับการเพิ่มประสิทธิภาพโดยทั่วไปและหลายสิ่งในหนังสือของพวกเขาเป็นที่สนใจของนักสถิติ นอกจากนี้ยังมีบททั้งหมดเกี่ยวกับสี่เหลี่ยมจัตุรัสที่ไม่ใช่เชิงเส้น

การปรับให้เหมาะสมโดย Kenneth Lange (Springer, 2004) ตรวจสอบใน JASA โดย Russell Steele มันเป็นตำราเรียนที่ดีที่มีพีชคณิตเมทริกซ์ของ Gentle สำหรับหลักสูตรเบื้องต้นเกี่ยวกับ Matrix แคลคูลัสและการเพิ่มประสิทธิภาพเช่นเดียวกับJan de Leeuw (หลักสูตร / 202B)

เพื่อเป็นการเสริมสิ่งเหล่านี้คุณอาจพบว่า Magnus, JR และ H. Neudecker (2007) แคลคูลัสเมทริกซ์ที่มีแอปพลิเคชั่นในสถิติและเศรษฐมิติซึ่งเป็นประโยชน์อันดับที่สามแม้ว่าจะหนัก มันพัฒนาการรักษาเต็มรูปแบบของการดำเนินการที่น้อยที่สุดกับเมทริกซ์และจากนั้นนำไปใช้กับงานทางสถิติทั่วไปจำนวนมากเช่นการปรับให้เหมาะสม, MLE และกำลังสองน้อยที่สุดที่ไม่ใช่เชิงเส้น หากในตอนท้ายของวันคุณจะพบความมั่นคงของอัลกอรึทึมเมทริกซ์ย้อนกลับความเข้าใจที่ดีของแคลคูลัสเมทริกซ์จะเป็นสิ่งที่ขาดไม่ได้ ฉันเองใช้เครื่องมือของเมทริกซ์แคลคูลัสในการหาผลลัพธ์แบบอะซิติกติกในสถิติเชิงพื้นที่และแบบจำลองตัวแปรหลายตัวแปร