แบบจำลองของ P (Y | X) สามารถฝึกผ่านการไล่ระดับสีแบบสุ่มจากตัวอย่างที่ไม่ใช่ iid ของ P (X) และตัวอย่าง iid ของ P (Y

เมื่อการฝึกอบรมแบบจำลองพารามิเตอร์ (เช่นเพื่อเพิ่มโอกาส) ผ่านการไล่ระดับสีแบบสุ่มในชุดข้อมูลบางอย่างก็มักจะสันนิษฐานว่าตัวอย่างการฝึกอบรมจะถูกดึงออกมาจากการกระจายข้อมูลการฝึกอบรม ดังนั้นหากเป้าหมายคือการสร้างแบบจำลองการแจกแจงร่วมดังนั้นตัวอย่างการฝึกอบรมแต่ละตัวอย่างควรถูกดึงออกมาจากการกระจายนั้น $P(X,Y)$ $(x_i,y_i)$

หากเป้าหมายคือการจำลองแบบการแจกแจงแบบมีเงื่อนไขดังนั้นความต้องการของ iid จะเปลี่ยนไปอย่างไรถ้าหากทั้งหมด $P(Y|X)$

เราจะต้องดึงตัวอย่างแต่ละตัวอย่าง iid จากการกระจายข้อต่อหรือไม่? $(x_i,y_i)$
เราควรจะวาด IID จากแล้ววาด IID จาก ? $x_i$ $P(X)$ $y_i$ $P(Y|X)$
เราสามารถวาดไม่ IID จาก (เช่นความสัมพันธ์ในช่วงเวลา) แล้ววาด IID จาก ? $x_i$ $P(X)$ $y_i$ $P(Y|X)$

คุณสามารถแสดงความคิดเห็นเกี่ยวกับความถูกต้องของวิธีการทั้งสามนี้สำหรับการไล่ระดับสีแบบลาดสุ่ม (หรือช่วยฉันเรียบเรียงคำถามใหม่หากจำเป็น)

ฉันอยากจะทำ # 3 ถ้าเป็นไปได้ แอปพลิเคชันของฉันอยู่ในการเรียนรู้การเสริมแรงโดยที่ฉันใช้โมเดลเงื่อนไขที่มีพารามิเตอร์เป็นนโยบายการควบคุม ลำดับของสถานะนั้นมีความสัมพันธ์กันสูง แต่การกระทำถูกสุ่มตัวอย่าง iid จากนโยบายสุ่มที่กำหนดไว้ในรัฐ ตัวอย่างผลลัพธ์ (หรือส่วนย่อยของพวกเขา) ถูกใช้เพื่อฝึกอบรมนโยบาย (กล่าวอีกนัยหนึ่งลองนึกภาพการใช้นโยบายการควบคุมเป็นเวลานานในบางสภาพแวดล้อมรวบรวมชุดข้อมูลของรัฐ / ตัวอย่างการกระทำจากนั้นแม้ว่ารัฐจะมีความสัมพันธ์กันเมื่อเวลาผ่านไป นี่ค่อนข้างคล้ายกับสถานการณ์ในบทความนี้ $x_i$ $y_i$ $(x_i,y_i)$

ฉันพบกระดาษ Ryabko, 2006, " การจดจำรูปแบบสำหรับข้อมูลที่มีเงื่อนไขแบบอิสระ " ซึ่งตอนแรกดูเหมือนจะมีความเกี่ยวข้อง อย่างไรก็ตามมีสถานการณ์ที่ตรงกันข้ามจากสิ่งที่ฉันต้องการโดยที่ (เลเบล / หมวดหมู่ / แอ็คชั่น) สามารถวาดได้ไม่ใช่ iid จากและ (วัตถุ / รูปแบบ / สถานะ) ถูกดึงจาก iidY) $y_i$ $P(Y)$ $x_i$ $P(X|Y)$

อัปเดต:เอกสารสองฉบับ ( ที่นี่และที่นี่ ) ที่กล่าวถึงในกระดาษ Ryabko ดูเหมือนจะเกี่ยวข้องกันที่นี่ พวกเขาคิดว่ามาจากกระบวนการที่กำหนดเอง (เช่นไม่ใช่ iid, อาจเป็นไปได้ที่จะไม่ใช่) พวกเขาแสดงให้เห็นว่าการประมาณค่าเพื่อนบ้านและเคอร์เนลใกล้เคียงกันนั้นในกรณีนี้ แต่ฉันสนใจมากขึ้นว่าการประมาณค่าโดยใช้การไล่ระดับสีแบบสุ่มนั้นมีผลในสถานการณ์นี้หรือไม่ $x_i$

— Tyler Streeter
แหล่งที่มา

บางทีฉันหายไปบางสิ่งบางอย่างและฉันไม่ได้อ่านกระดาษ แต่: คุณกำลังวาดภาพ

ไม่ใช่ IID จาก

และจากนั้นสุ่มตัวอย่าง

IID จาก

)

Ryabko (2006) เป็นรูปวาด

ไม่ใช่ IID จาก

และจากนั้นสุ่มตัวอย่าง

IID จาก

)

สิ่งเหล่านี้ดูเหมือนจะเป็นการเปลี่ยนชื่อใหม่ มีบางสิ่งที่แตกต่างกันโดยพื้นฐานเกี่ยวกับวัตถุ

และ

x_{i}

$x_i$

P (X)

$P(X)$

y_{i}

$y_i$

P (Y ∣ X)

$P(Y \mid X)$

y_{i}

$y_i$

P (Y)

$P(Y)$

x_{i}

$x_i$

P (X ∣ Y)

$P(X \mid Y)$

x

$x$

y

$y$ ที่ทำให้สิ่งนี้ไม่ใช่สถานการณ์เดียวกัน

— Dougal

@Dougal: ความแตกต่างคือแบบจำลองการแจกแจงแบบมีเงื่อนไขเช่นเขตข้อมูลสุ่มตามเงื่อนไขให้ถือว่า

และ

("อินพุต" และ "เอาท์พุท") แตกต่างกัน ... พวกมันจำลองทิศทางเดียวเท่านั้น (

แต่ไม่ใช่

)

X

$X$

Y

$Y$

P (Y | X)

$P(Y|X)$

P (X | Y)

$P(X|Y)$

— Tyler Streeter

ฉันจะพิจารณาการเปรียบเทียบต่อไปนี้ในกรณีนี้ สมมติว่า

และ

มีสองชุดเวลาที่มีความสัมพันธ์ (ความสัมพันธ์ในเวลา) เราอยากจะคิดออกฟังก์ชั่น

ซึ่งเทียบเท่ากับการหา

)

ถ้า

Y_{i}

$Y_i$

X_{i}

$X_i$

Y_{i} = f (X_{i}; θ)

$Y_i = f(X_i;\theta)$

P (Y_{i} | X_{i}; θ)

$P(Y_i|X_i;\theta)$

P (Y_{i} | X_{i}; θ)

$P(Y_i|X_i;\theta)$ ซึ่งเป็นสิ่งที่เหลืออยู่คือ IID (ดังนั้นจึงอยู่กับที่และไม่เกี่ยวข้อง) จากนั้นขั้นตอนการประมาณค่าจะมาบรรจบกันโดยไม่มีอคติ โดยทั่วไปการประมวลผลอนุกรมเวลาตามลำดับเวลาหรือคำสั่งสุ่มใด ๆ ไม่ควรมีความสำคัญในขั้นตอน MLE ตราบใดที่มีการระบุความเป็นไปได้ตามเงื่อนไขอย่างถูกต้องและส่วนที่เหลือเป็น IID

— Cagdas Ozgenc

ฉันคิดว่าคุณสามารถทำอย่างใดอย่างหนึ่ง 2 หรือ 3 อย่างไรก็ตามปัญหาของ 3 คือการอนุญาตให้มีการแจกแจงโดยพลการสำหรับ X คุณรวมถึงการแจกแจงที่น่าจะมีความน่าจะเป็นทั้งหมดหรือเกือบทั้งหมดคือช่วงเวลาเล็ก ๆ ใน x-space สิ่งนี้จะส่งผลเสียหายต่อการประเมินโดยรวมของ P (Y | X) เนื่องจากคุณจะมีข้อมูลเพียงเล็กน้อยหรือไม่มีเลยสำหรับค่า X ที่แน่นอน

— Michael R. Chernick
แหล่งที่มา

คุณกำลังบอกว่าด้วยวิธีการ # 3 ฉันจะได้ผลลัพธ์ที่เป็นกลางโดยมีความแปรปรวนสูง

— Tyler Streeter

หากไม่มีข้อมูลอยู่ที่หรือใกล้จุด x

คุณจะไม่สามารถประมาณ P (Y | X = x

) ได้และหากมีเพียงไม่กี่จุดความแปรปรวนของการประมาณจะมีขนาดใหญ่

_{1}

$_1$

_{1}

$_1$

— Michael R. Chernick

ใช่นั่นทำให้รู้สึกว่าความแปรปรวนอาจมีขนาดใหญ่ ฉันเดาว่าความกังวลหลักของฉันคือการประมาณว่า P (Y | X) จะมีอคติหรือไม่

— Tyler Streeter

เราไม่ได้หารือเกี่ยวกับการประเมินจุด หากคุณมีค่าประมาณที่เป็นกลางสำหรับ P (X), P (Y) และ P (X | Y) และเสียบเข้ากับสูตร P (Y | X) = P (X | Y) P (Y) / P (X) คุณจะได้รับการประเมินแบบเอนเอียง

— Michael R. Chernick

ฉันควรเน้นว่าฉันกำลังพูดถึงการประมาณ P (Y | X) ผ่านการไล่ระดับสีแบบสุ่มในกรณีนี้ลำดับของตัวอย่างการฝึกอบรมสามารถมีอิทธิพลต่อความรวดเร็วหรือไม่ว่ามันจะมาบรรจบกับแบบจำลองที่ถูกต้องหรือไม่ ฉันไม่เพียงแค่ใช้ค่าเฉลี่ยตัวอย่างซึ่งลำดับของตัวอย่างนั้นไม่สำคัญ

— Tyler Streeter