ทำไมการเพิ่มความน่าจะเป็นของบันทึกจึงเร็วกว่าการคูณความน่าจะเป็น

ในการวางกรอบคำถามในวิทยาการคอมพิวเตอร์บ่อยครั้งที่เราต้องการคำนวณผลคูณของความน่าจะเป็น:

P(A,B,C) = P(A) * P(B) * P(C)

วิธีที่ง่ายที่สุดคือการคูณตัวเลขเหล่านี้และนั่นคือสิ่งที่ฉันจะทำ อย่างไรก็ตามเจ้านายของฉันกล่าวว่าการเพิ่มบันทึกของความน่าจะเป็นดีกว่า:

log(P(A,B,C)) = log(P(A)) + log(P(B)) + log(P(C))

นี่จะให้ความน่าจะเป็นของบันทึก แต่เราสามารถได้ความน่าจะเป็นหลังจากนั้นถ้าจำเป็น:

P(A,B,C) = e^log(P(A,B,C))

การเพิ่มบันทึกถือว่าดีกว่าด้วยเหตุผลสองประการ:

1. มันป้องกัน "underflow" โดยผลิตภัณฑ์ของความน่าจะเป็นมีขนาดเล็กจนมันถูกปัดเศษเป็นศูนย์ สิ่งนี้มักเป็นความเสี่ยงเนื่องจากความน่าจะเป็นมีขนาดเล็กมาก
2. มันเร็วกว่าเพราะสถาปัตยกรรมคอมพิวเตอร์จำนวนมากสามารถทำการเพิ่มได้เร็วกว่าการคูณ

คำถามของฉันเกี่ยวกับประเด็นที่สอง นี่คือวิธีที่ฉันได้เห็นมันอธิบาย แต่ไม่คำนึงถึงค่าใช้จ่ายเพิ่มเติมในการรับบันทึก! เราควรจะเปรียบเทียบ "ต้นทุนของล็อก + ค่าใช้จ่ายของการเพิ่ม" กับ "ต้นทุนของการคูณ" มันยังมีขนาดเล็กลงหลังจากที่คำนึงถึงเรื่องนี้หรือไม่?

นอกจากนี้หน้า Wikipedia ( ความน่าจะเป็นบันทึก ) นั้นสร้างความสับสนในแง่นี้โดยระบุว่า "การแปลงเป็นไฟล์บันทึกมีราคาแพง แต่เกิดขึ้นเพียงครั้งเดียวเท่านั้น" ฉันไม่เข้าใจสิ่งนี้เพราะฉันคิดว่าคุณจะต้องใช้บันทึกของทุกคำศัพท์อย่างอิสระก่อนที่จะเพิ่ม ฉันพลาดอะไรไป

ในที่สุดเหตุผลที่ว่า "คอมพิวเตอร์ทำการเพิ่มเร็วกว่าการคูณ" นั้นค่อนข้างคลุมเครือ นั่นเป็นคำเฉพาะสำหรับชุดคำสั่ง x86 หรือเป็นคุณลักษณะพื้นฐานเพิ่มเติมของสถาปัตยกรรมโปรเซสเซอร์

นอกจากนี้หน้า Wikipedia ( https://en.wikipedia.org/wiki/Log_probability ) ทำให้เกิดความสับสนในส่วนนี้โดยระบุว่า "การแปลงเป็นไฟล์บันทึกมีราคาแพง แต่เกิดขึ้นเพียงครั้งเดียวเท่านั้น" ฉันไม่เข้าใจสิ่งนี้เพราะฉันคิดว่าคุณจะต้องใช้บันทึกของทุกคำศัพท์อย่างอิสระก่อนที่จะเพิ่ม ฉันพลาดอะไรไป

ถ้าคุณแค่ต้องการคำนวณหนึ่งครั้งคุณก็คิดถูก คุณจะต้องคำนวณลอการิทึมnและส่วนเพิ่มเติมn - 1ในขณะที่วิธีการไร้เดียงสาต้องใช้n - $P(A_1)\ldots P(A_n)$$n$$n-1$$n-1$คูณ

อย่างไรก็ตามเป็นเรื่องธรรมดามากที่คุณต้องการตอบแบบสอบถามของแบบฟอร์ม:

Compute สำหรับบางเซตผมของ{ 1 , ... n }$\prod_{i \in I} P(A_i)$$I$$\{1, \ldots n\}$

ในกรณีนั้นคุณสามารถประมวลผลข้อมูลของคุณล่วงหน้าเพื่อคำนวณเพียงครั้งเดียวและตอบแบบสอบถามแต่ละข้อโดยทำ| ฉัน| เพิ่มเติม$\log P(A_i)$$|I|$

ในที่สุดเหตุผลที่ว่า "คอมพิวเตอร์ทำการเพิ่มเร็วกว่าการคูณ" นั้นค่อนข้างคลุมเครือ นั่นเป็นคำเฉพาะสำหรับชุดคำสั่ง x86 หรือเป็นคุณลักษณะพื้นฐานเพิ่มเติมของสถาปัตยกรรมโปรเซสเซอร์

นี่เป็นคำถามที่กว้างขึ้น โดยทั่วไปแล้วการคำนวณการคูณทวีคูณจะยากกว่านี้อีก การคำนวณเป็นเส้นตรงในขนาดของaและb (โดยใช้อัลกอริธึมเล็กน้อย) ในขณะที่เราไม่ทราบวิธีการคำนวณa × bด้วยความซับซ้อนในเวลาเดียวกัน (ตรวจสอบอัลกอริธึมที่ดีที่สุด$a+b$$a$$b$$a\times b$ที่นี่ )

แน่นอนว่าไม่มีคำตอบที่ชัดเจนตัวอย่างเช่นหากคุณจัดการกับจำนวนเต็มเท่านั้นและคุณคูณด้วยกำลัง$2$แล้วคุณควรเปรียบเทียบกะกับการดำเนินการเพิ่ม

อย่างไรก็ตามนี่เป็นคำสั่งที่สมเหตุสมผลสำหรับสถาปัตยกรรมคอมพิวเตอร์ทั่วไป: การคูณกับจำนวนจุดลอยตัวจะช้ากว่าการเพิ่มเข้าไป

โดย "เกิดขึ้นครั้งเดียว" มันอาจหมายถึงว่าถ้าคุณมีน่าจะเป็นP 1 , . . p Nจากนั้นคุณเปลี่ยนเป็นพื้นที่บันทึกเพียงครั้งเดียวโดยการบันทึกของแต่ละp $N$$p_1,...p_N$$p_i$ทำการคูณความน่าจะเป็นในพื้นที่บันทึกโดยเพิ่ม (ซึ่งใช้เวลาน้อยลง) จากนั้นสลับกลับไปยังพื้นที่เริ่มต้นโดยใช้การยกกำลัง

หากจำนวนการดำเนินการมากกว่าเพียงเล็กน้อยเท่านั้นฉันคิดว่าไม่มีความหมายของการสลับไปยังพื้นที่บันทึก (จากมุมมองประสิทธิภาพ) อย่างไรก็ตามถ้าจำนวนของการดำเนินการมีมากเกินไปฉันคิดว่ามันคุ้มค่าที่จะเปลี่ยนเป็นพื้นที่บันทึก ตัวอย่างเช่นสมมติว่าคุณมี 50 ตัวแปรและการคำนวณของคุณเกี่ยวข้องกับการคูณ 1000 ครั้ง ฉันคิดว่าคุณควรทำงานในพื้นที่บันทึก $N$

ในที่สุดการเพิ่มจะเร็วกว่าการคูณไม่ใช่เพราะสถาปัตยกรรมของเครื่อง การเติมจะเร็วกว่าการคูณ ในแง่ของความซับซ้อนจะใช้เวลา (เชิงเส้น) เพื่อดำเนินการเพิ่มจำนวนเต็มสองจำนวนn-บิตในขณะที่การคูณใช้เวลาO ( n 2 ) (กำลังสอง)$O(n)$$n$$O(n^2)$

อย่างไรก็ตามแนวคิดนี้คล้ายกับการคูณแบบแยกส่วนของ Montgomery ซึ่งการคูณจะดำเนินการในรูปแบบ Montgomery ซึ่งค่อนข้างเร็วกว่าการคูณปกติแล้วลดลง