สิ่งหนึ่งหมายความว่าอะไรจากการรวมเชิงตัวเลขมีราคาแพงเกินไป?

ฉันกำลังอ่านเกี่ยวกับการอนุมานแบบเบย์และฉันพบวลี "การรวมเชิงตัวเลขของความเป็นไปได้ที่จะมีราคาแพงเกินไป"

ฉันไม่มีพื้นฐานด้านคณิตศาสตร์และฉันสงสัยว่าราคาแพงตรงนี้หรือไม่ มันเป็นเพียงในแง่ของพลังการคำนวณหรือมีอะไรมากกว่านั้น

มันหมายความว่าใช้พลังงานในการคำนวณมากเกินไปอาจเป็นในแง่ของเวลา CPU (เนื่องจากทรัพยากรการคำนวณทั้งหมดล้วน แต่เป็นหน่วยความจำหรือ CPU)

— Sycorax พูดว่า Reinstate Monica

ที่จริงแล้วแบนด์วิดท์การสื่อสารอาจกลายเป็นปัญหาได้ในบางครั้ง (เช่นระหว่างแคช / RAM / ดิสก์ตามลำดับหรือระหว่างโหนดการคำนวณแบบขนาน)

— GeoMatt22

หมายความว่าใช้เวลานานเกินไปสำหรับคอมพิวเตอร์เครื่องเดียวของเราสำหรับเครือข่ายคอมพิวเตอร์เพื่อทำการคำนวณ

— Jack Maddington

และถ้าต้องการความเป็นไปได้ที่จะเกิดขึ้นในวงรอบสิ่งที่นับว่าแพงเกินไปนั้นน้อย เช่น. 1 วินาทีเสียงบูรณาการประจำอย่างรวดเร็ว แต่มันอาจจะเป็น "แพงเกินไป" ถ้าคุณต้องการที่จะทำมัน 1 ล้านครั้ง ...

— แมทธิวน์

มีราคาแพงในแง่ของความพยายามในการคำนวณเนื่องจากต้องใช้ความพยายามในการคำนวณมากกว่าที่คุณสามารถจ่ายได้เช่นเดียวกับที่ใช้เวลามากเกินไปหรือต้องการตัวประมวลผลจำนวนมากที่ต้องทำในเวลาที่เหมาะสม

— user253751

คำตอบ:

ในบริบทของปัญหาการคำนวณรวมถึงวิธีการเชิงตัวเลขสำหรับการอนุมานแบบเบย์วลี "แพงเกินไป" โดยทั่วไปสามารถอ้างถึงสองประเด็น

โดยเฉพาะอย่างยิ่งปัญหามากเกินไป "ใหญ่" ในการคำนวณสำหรับ "โดยเฉพาะอย่างยิ่งงบประมาณ "
วิธีการทั่วไปมีขนาดไม่ดีเช่นมีความซับซ้อนในการคำนวณสูง

สำหรับทั้งสองกรณีทรัพยากรการคำนวณที่ประกอบด้วย "งบประมาณ" อาจประกอบด้วยสิ่งต่าง ๆ เช่นรอบการทำงานของ CPU ( ความซับซ้อนของเวลา ), หน่วยความจำ ( ความซับซ้อนของพื้นที่ ) หรือแบนด์วิดธ์การสื่อสาร ( ภายในหรือระหว่างโหนดคำนวณ) ในกรณีที่สอง "แพงเกินไป" จะหมายถึงว่ายาก

ในบริบทของการคำนวณแบบเบย์, ใบเสนอราคามีแนวโน้มที่จะหมายถึงปัญหาเกี่ยวกับชายขอบมากกว่าจำนวนมากของตัวแปร

ตัวอย่างเช่นบทคัดย่อของบทความล่าสุดนี้เริ่มต้นขึ้น

การบูรณาการได้รับผลกระทบจากคำสาปของมิติและกลายเป็นยากเมื่อการพัฒนาของปัญหาเพิ่มขึ้น

และพูดต่อไป

เราเสนออัลกอริทึมแบบสุ่มที่ ... สามารถนำไปใช้เช่นการคำนวณส่วนต่างหรือการเลือกแบบจำลอง

(สำหรับการเปรียบเทียบบทหนังสือเล่มล่าสุดนี้กล่าวถึงวิธีการที่พิจารณาว่า "ไม่แพงเกินไป")

— GeoMatt22
แหล่งที่มา

นี่คือคำตอบที่ดี ฉันเพิ่งจะเพิ่มว่า "แพง" อาจเพิ่มขึ้นอย่างมากเช่นกัน - หนึ่งสามารถเพิ่มพลังการคำนวณและการจัดเก็บข้อมูลของคนอย่างมาก (ในระดับซูเปอร์คอมพิวเตอร์ตราบเท่าที่หนึ่งความต้องการ) ได้อย่างง่ายดายวันนี้ (และค่อนข้างถูก) ... แต่สำหรับปัญหาใหญ่มันจะยังคงทำงานแพงเกินไป - - ในการที่มันจะเสียค่าใช้จ่ายเงินจริงมากกว่าที่คุณมี

— Glen_b -Reinstate Monica

@Glen_b นั่นเป็นจุดที่ดี! ฉันจินตนาการ

— ว่าความ

@ GeoMatt22 จริง ๆ แล้วมันเป็นอีกวิธีหนึ่งในการระบุความหมายเดียวกันถ้าคุณคิดถึงมัน

— user253751

@ GeoMatt22 ขอบคุณ! ตอนนี้ฉันเข้าใจอย่างถ่องแท้ว่าสิ่งที่มีราคาแพงหมายถึงอะไรในบริบทของเบย์

— discretetimeisnice

ฉันจะยกตัวอย่างให้คุณในกรณีที่ไม่ต่อเนื่องเพื่อแสดงว่าทำไมการรวม / ผลรวมมากกว่าราคาแพงมาก

$100$ $P(X_1, X_2, \cdots, X_{100})$ $2^{100}$

$P(X_1)$

P (X_{1}) = \sum_{X_{2}} \sum_{X_{3}} \dots \sum_{X_{100}} P (X_{1}, X_{2}, \dots, X_{100})

$P(X_1)=\sum_{X_2}\sum_{X_3}\cdots \sum_{X_{100}}P(X_1, X_2, \cdots, X_{100})$

$99$ $2^{99}$

ในวรรณกรรมแบบจำลองความน่าจะเป็นแบบกราฟิกวิธีการคำนวณการกระจายแบบนี้เรียกว่า "กำลังดุร้าย" เพื่อทำการ "อนุมาน" ตามชื่อเราอาจรู้ว่ามันแพง และผู้คนใช้วิธีอื่น ๆ อีกมากมายเพื่อทำการอนุมานเช่นการได้รับการกระจายอย่างมีประสิทธิภาพ "วิธีอื่น ๆ " รวมถึงการอนุมานโดยประมาณฯลฯ

— ไห่เทาดู
แหล่งที่มา

บางทีคุณอาจแสดงความคิดเห็นว่าทำไมวิธีการแบบเบย์จึงมีประโยชน์ที่นี่เนื่องจากคำถามที่ตั้งขึ้นในบริบทนี้

— ทิม

โดยปกติเมื่อดำเนินการอนุมานแบบเบย์เป็นเรื่องง่ายที่จะพบการรวมตัวกันอย่างหนักเหนือตัวแปรที่สร้างความรำคาญเช่น อีกตัวอย่างหนึ่งคือการสุ่มตัวอย่างเชิงตัวเลขในกรณีนี้จากฟังก์ชันความน่าจะเป็นซึ่งหมายถึงการสุ่มตัวอย่างแบบสุ่มจากการแจกแจงที่กำหนด เมื่อจำนวนพารามิเตอร์ของแบบจำลองเพิ่มขึ้นการสุ่มตัวอย่างนี้หนักมากและวิธีการคำนวณต่าง ๆ ได้รับการพัฒนาเพื่อเพิ่มความเร็วในกระบวนการและให้การใช้งานที่รวดเร็วมากทำให้แน่นอนว่ามีความแม่นยำระดับสูง tecniques เหล่านี้มีไว้สำหรับ MC, MCMC, Metropolis ecc ดูการวิเคราะห์ข้อมูลแบบเบย์โดย Gelman et มันควรจะแนะนำให้คุณรู้จัก! โชคดี

— Lcol
แหล่งที่มา

คำตอบนี้ดูเหมือนจะไม่ตอบคำถามหลักของ OP เกี่ยวกับความหมายของ "แพง" ในบริบทนี้ หรืออย่างน้อยก็ไม่ชัดมาก

— Shufflepants

คำอธิบายสั้น ๆ คือการแนะนำผู้อ่านถึงความหมายของความต้องการการคำนวณเมื่อทำการวิเคราะห์เฉพาะในสถิติแบบเบย์เนื่องจากมันระบุไว้ว่าไม่ใช่นักคณิตศาสตร์ อย่างไรก็ตามหวังว่ามันชัดเจนสำหรับใครบางคน

— Lcol