การโยนเหรียญกระบวนการตัดสินใจและคุณค่าของข้อมูล

ลองนึกภาพการตั้งค่าต่อไปนี้: คุณมี 2 เหรียญ, เหรียญ A ซึ่งรับประกันว่าจะยุติธรรมและเหรียญ B ซึ่งอาจหรืออาจไม่ยุติธรรม คุณจะถูกขอให้โยนเหรียญ 100 ครั้งและเป้าหมายของคุณคือเพิ่มจำนวนหัวให้มากที่สุด

ข้อมูลก่อนหน้าของคุณเกี่ยวกับเหรียญ B คือพลิก 3 ครั้งและให้ 1 หัว หากกฎการตัดสินใจของคุณขึ้นอยู่กับการเปรียบเทียบความน่าจะเป็นที่คาดหวังของหัวของเหรียญ 2 เหรียญคุณจะพลิกเหรียญ 100 ครั้งและทำตามนั้น สิ่งนี้เป็นจริงแม้ว่าจะใช้การประมาณแบบเบย์ที่สมเหตุสมผล (ความหมายด้านหลัง) ของความน่าจะเป็นเนื่องจากคุณไม่มีเหตุผลที่จะเชื่อว่าเหรียญ B ให้ผลตอบแทนที่มากกว่า

อย่างไรก็ตามจะเกิดอะไรขึ้นถ้าเหรียญ B มีความเอนเอียงในความเป็นจริง แน่นอนว่า "หัวหน้าที่มีศักยภาพ" ที่คุณยอมแพ้โดยการโยนเหรียญ B สองครั้ง (และการได้รับข้อมูลเกี่ยวกับคุณสมบัติทางสถิติของมัน) จะมีค่าในบางแง่มุมดังนั้นจึงเป็นปัจจัยในการตัดสินใจของคุณ "คุณค่าของข้อมูล" นี้จะอธิบายทางคณิตศาสตร์ได้อย่างไร?

คำถาม:คุณสร้างกฎการตัดสินใจที่ดีที่สุดทางคณิตศาสตร์ในสถานการณ์นี้ได้อย่างไร

โจรติดอาวุธหลายคน

นี้เป็นกรณีพิเศษของปัญหาสล็อตแมชชีน ฉันพูดกรณีเฉพาะเพราะโดยทั่วไปเราไม่รู้ความน่าจะเป็นของหัว (ในกรณีนี้เรารู้ว่าเหรียญหนึ่งมีความน่าจะเป็น 0.5)

ปัญหาที่คุณเพิ่มขึ้นเรียกว่าภาวะที่กลืนไม่เข้าคายไม่ออกสำรวจกับการแสวงหาผลประโยชน์ : คุณสำรวจตัวเลือกอื่น ๆ หรือคุณยึดติดกับสิ่งที่คุณคิดว่าดีที่สุด มีวิธีแก้ปัญหาที่ดีที่สุดทันทีโดยสมมติว่าคุณรู้ว่าความน่าจะเป็นทั้งหมด : เพียงแค่เลือกเหรียญที่มีโอกาสชนะสูงที่สุด ปัญหาดังที่คุณได้กล่าวพาดพิงถึงคือเราไม่แน่ใจเกี่ยวกับความน่าจะเป็นที่แท้จริง

มีวรรณกรรมมากมายในเรื่องนี้และมีอัลกอริธึมที่กำหนดขึ้นมากมาย แต่เมื่อคุณติดแท็ก Bayesian นี้ฉันอยากจะบอกคุณเกี่ยวกับวิธีแก้ปัญหาส่วนตัวที่ฉันชอบ: Bayesian Bandit !

ทางออกโจร Baysian

วิธีการแบบเบย์ต่อปัญหานี้เป็นเรื่องธรรมชาติมาก เราสนใจที่จะตอบ "ความเป็นไปได้ที่เหรียญ X ดีกว่าสำหรับทั้งสองคืออะไร"

ก่อนหน้านี้สมมติว่าเราไม่พบการโยนเหรียญ แต่เราไม่รู้เลยว่าความน่าจะเป็นของเหรียญกษาปณ์อาจจะเป็นแสดงถึงไม่รู้จักนี้ ดังนั้นเราควรกำหนดการกระจายตัวแบบสม่ำเสมอให้กับความน่าจะเป็นที่ไม่รู้จัก อีกทางเลือกหนึ่ง (และด้านหลัง) สำหรับเหรียญกษาปณ์ของเรานั้นมีความเข้มข้นเล็กน้อยที่ 1/2$p_B$

ตามที่คุณระบุไว้เราสังเกต 2 ส่วนและ 1 หัวจากเหรียญ B เราจำเป็นต้องอัปเดตการกระจายหลังของเรา สมมติว่าชุดก่อนและพลิกเป็น Bernoulli เหรียญพลิกหลังของเราเป็น2) เปรียบเทียบการกระจายหลังหรือ A และ B ตอนนี้:$Beta( 1 + 1, 1 + 2)$

การค้นหากลยุทธ์ที่เหมาะสมที่สุดโดยประมาณ

ตอนนี้เรามีผู้โพสต์แล้วจะทำอย่างไร? เราสนใจที่จะตอบว่า "อะไรคือความน่าจะเป็นเหรียญ B ที่ดีกว่าของทั้งสอง" (โปรดจำไว้ว่าจากมุมมองแบบเบย์ของเราถึงแม้ว่าจะมีคำตอบที่ชัดเจนว่าสิ่งใดดีกว่า

ทางออกที่ดีที่สุดโดยประมาณคือการเลือก B กับความน่าจะเป็นและที่มีความน่าจะเป็นw_B โครงการนี้จะเพิ่มผลกำไรที่คาดหวังให้สูงสุด สามารถคำนวณได้ในเชิงตัวเลขเนื่องจากเรารู้ว่าการแจกแจงหลัง แต่วิธีที่น่าสนใจคือ: 1 - w B w $w_B$$1 - w_B$$w_B$

1. Sample P_B from the posterior of coin B
2. If P_B > 0.5, choose coin B, else choose coin A.

ชุดรูปแบบนี้ยังปรับปรุงด้วยตนเอง เมื่อเราสังเกตเห็นผลลัพธ์ของการเลือกเหรียญ B เราจะอัปเดตด้านหลังด้วยข้อมูลใหม่นี้และเลือกอีกครั้ง ด้วยวิธีนี้ถ้าเหรียญ B แย่จริงๆเราจะเลือกให้น้อยลงและในความเป็นจริงเหรียญ B จริง ๆ เราจะเลือกให้บ่อยขึ้น แน่นอนเราคือชาวเบย์ดังนั้นเราจึงไม่มีทางแน่ใจได้เลยว่าเหรียญ B จะดีกว่า การเลือกความน่าจะเป็นแบบนี้เป็นวิธีแก้ปัญหาที่เป็นธรรมชาติที่สุดสำหรับปัญหาการสำรวจการเอารัดเอาเปรียบ

นี่คือตัวอย่างหนึ่งของธ อมป์สันสุ่มตัวอย่าง ข้อมูลเพิ่มเติมและการใช้งานที่เย็นเพื่อการโฆษณาออนไลน์สามารถพบได้ในงานวิจัยของ Googleและงานวิจัยของ Yahoo ฉันรักสิ่งนี้!

นี่เป็นกรณีง่าย ๆ ของปัญหาโจรติดอาวุธ ดังที่คุณทราบคุณต้องการสร้างความสมดุลให้กับข้อมูลที่คุณรวบรวมโดยการลองใช้เหรียญที่ไม่รู้จักเมื่อคุณคิดว่าไม่ดีในระยะสั้น ๆ จากการใช้ประโยชน์จากความรู้ที่คุณมี

ในปัญหาโจรติดอาวุธคลาสสิกคุณคงไม่แน่ใจว่าจะมีโอกาสเท่ากันสำหรับเหรียญ อย่างไรก็ตามที่นี่คุณจะได้รับทราบว่ามูลค่าของเหรียญ A ดังนั้นเมื่อคุณพลิก A คุณจะไม่ได้รับข้อมูล ในความเป็นจริงคุณอาจเพิกเฉยต่อธรรมชาติสุ่มของ A และสมมติว่าคุณได้รับแบนต่อการเลือกของ A ซึ่งหมายความว่าถ้าถูกต้องที่จะพลิกเหรียญ A คุณควรพลิก A. ดังนั้นคุณ เพียงแค่ต้องการค้นหากฎการหยุดที่ดีที่สุดเมื่อคุณควรยอมแพ้ใน B นี้ขึ้นอยู่กับการแจกแจงก่อนหน้าสำหรับพารามิเตอร์สำหรับ B และจำนวนการทดลอง ด้วยการทดลองจำนวนมากขึ้นการสำรวจมีค่ามากกว่าดังนั้นคุณจะทดสอบ B มากขึ้น$1/2$

โดยทั่วไปฉันคิดว่าคุณไม่สามารถหลีกเลี่ยงปัญหาการเขียนโปรแกรมแบบไดนามิกแม้ว่าอาจมีกรณีพิเศษที่สามารถพบและตรวจสอบกลยุทธ์ที่เหมาะสมที่สุดได้ง่ายขึ้น

ด้วยชุดก่อนหน้านี่คือที่ที่คุณควรหยุด:

$(0 ~ \text{heads}, 3 ~\text{tails}), (1 ~\text{head}, 5 ~\text{tails}), (2 ~\text{heads}, 6 ~\text{tails}), (3,7), (4,8),...(31,35), (32,35), (33,36), (34,37), ... (41,44), (42,44), ... (46,48), (47,48), (48,49), (49,50)$(49,50)

ภายใต้กลยุทธ์นี้คุณคาดว่าจะได้สะสมคน$61.3299$

ฉันใช้รหัส Mathematica ต่อไปนี้เพื่อคำนวณหลักทรัพย์:

Clear[Equity];
Equity[n_, heads_, tails_] := Equity[n, heads, tails] = 
    If[n == 0, heads, 
       Max[1/2 + Equity[n - 1, heads, tails], 
           (heads + 1)/(heads + tails + 2) Equity[n - 1, heads + 1, tails] + 
           (tails + 1)/(heads + tails + 2) Equity[n - 1, heads, tails + 1]
           ]
      ]

สำหรับการเปรียบเทียบการสุ่มตัวอย่างการสุ่มตัวอย่างของ Thompson (ซึ่ง Cam Davidson Pilon อ้างว่าเหมาะสมที่สุด) ให้ค่าเฉลี่ย 60.2907 หัวลดลง 1.03915 การสุ่มตัวอย่าง ธ อมป์สันมีปัญหาที่บางครั้งตัวอย่าง B เมื่อคุณมีข้อมูลเพียงพอที่จะรู้ว่ามันไม่ได้เป็นเดิมพันที่ดีและมันมักจะเป็นการเสียโอกาสที่จะสุ่มตัวอย่าง B เร็วขึ้นเมื่อข้อมูลมีค่ามากที่สุด ในปัญหาประเภทนี้คุณแทบไม่เคยสนใจเลยระหว่างตัวเลือกของคุณและมีกลยุทธ์ที่ดีที่สุดอย่างแท้จริง

tp[heads_, tails_] := tp[heads, tails] = 
    Integrate[x^heads (1 - x)^tails / Beta[heads + 1, tails + 1], {x, 0, 1/2}]


Clear[Thompson];
Thompson[flipsLeft_, heads_, tails_] := Thompson[flipsLeft, heads, tails] = 
    If[flipsLeft == 0, heads, 
       Module[{p = tp[heads, tails]}, 
           p (1/2 + Thompson[flipsLeft-1,heads,tails]) + 
           (1-p)((heads+1)/(heads+tails+2)Thompson[flipsLeft-1,heads+1,tails] + 
           ((tails+1)/(heads+tails+2)) Thompson[flipsLeft-1,heads,tails+1])]]