การกำหนด discretization ที่เหมาะสมของข้อมูลจากการกระจายอย่างต่อเนื่อง

สมมติว่าคุณมีชุดข้อมูลจากการแจกแจงแบบต่อเนื่องที่มีความหนาแน่นสนับสนุนบนที่ไม่รู้จัก แต่ค่อนข้างใหญ่ดังนั้นความหนาแน่นของเคอร์เนล (ตัวอย่าง) การประมาณค่อนข้างแม่นยำ สำหรับการประยุกต์ใช้โดยเฉพาะอย่างยิ่งผมต้องแปลงข้อมูลที่สังเกตในการ จำกัด จำนวนหมวดหมู่เพื่อให้ผลผลิตชุดข้อมูลใหม่ที่มีฟังก์ชั่นมวลโดยนัย(z) P ( Y ) [ 0 , 1 ] n P ( Y ) Z 1 , . . , z n g ( z $Y_{1}, ..., Y_{n}$$p(y)$$[0,1]$$n$$\hat{p}(y)$$Z_{1}, ..., Z_{n}$$g(z)$

ตัวอย่างง่ายๆจะเมื่อและเมื่อ1/2 ในกรณีนี้ฟังก์ชั่นมวลเหนี่ยวนำจะเป็นY ฉัน ≤ 1 / 2 Z ฉัน = 1 Y ฉัน > 1 /$Z_{i} = 0$$Y_{i} \leq 1/2$$Z_{i} = 1$$Y_{i} > 1/2$

$$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$$

ทั้งสอง "ค่าปรับ" ที่นี่มีจำนวนของกลุ่มที่และความยาวเวกเตอร์ของเกณฑ์\แสดงว่าฟังก์ชั่นที่เกิดจากมวล(y)$m$λ กรัมเมตร, λ ( Y $(m-1)$$\lambda$$\hat{g}_{m,\lambda}(y)$

ฉันต้องการขั้นตอนที่ตอบเช่น "ทางเลือกที่ดีที่สุดของคืออะไรดังนั้นการเพิ่มจำนวนกลุ่มเป็น (และการเลือกที่ดีที่สุดนั่น) จะทำให้เกิดการปรับปรุงเล็กน้อย" . ฉันรู้สึกว่าบางทีสถิติทดสอบอาจถูกสร้างขึ้น (อาจมีความแตกต่างใน KL divergence หรือสิ่งที่คล้ายกัน) ซึ่งสามารถรับการกระจายได้ ความคิดใด ๆ หรือวรรณกรรมที่เกี่ยวข้อง?m + 1 $m, \lambda$$m+1$$\lambda$

แก้ไข:ฉันมีการวัดระยะชั่วคราวอย่างสม่ำเสมอของตัวแปรต่อเนื่องและฉันใช้โซ่มาร์คอฟที่ไม่เหมือนใครเพื่อจำลองการพึ่งพาชั่วคราว ตรงไปตรงมาโซ่มาร์คอฟที่แยกจากรัฐนั้นจัดการได้ง่ายกว่ามากและนั่นคือแรงจูงใจของฉัน ข้อมูลที่สังเกตได้เป็นร้อยละ ขณะนี้ฉันใช้การแยกส่วนแบบเฉพาะกิจที่ดูดีมากสำหรับฉัน แต่ฉันคิดว่านี่เป็นปัญหาที่น่าสนใจซึ่งเป็นวิธีแก้ปัญหาที่เป็นทางการ (และทั่วไป) เป็นไปได้

แก้ไข 2:การลดความแตกต่าง KL จริง ๆ แล้วจะเทียบเท่ากับการไม่แยกข้อมูลทั้งหมดดังนั้นแนวคิดนั้นจึงหมดไป ฉันแก้ไขร่างกายตามนั้น

ฉันจะแบ่งปันวิธีแก้ปัญหาที่เกิดขึ้นเมื่อไม่นานมานี้ - นี่ไม่ใช่การทดสอบทางสถิติอย่างเป็นทางการ แต่อาจเป็นวิธีแก้ปัญหาที่เป็นประโยชน์

---

พิจารณากรณีทั่วไปที่คุณมีการสังเกตอย่างต่อเนื่อง ; โดยไม่สูญเสียของทั่วไปคิดว่าพื้นที่ตัวอย่างของแต่ละข้อสังเกตคือช่วง[0,1]โครงการจัดหมวดหมู่จะขึ้นอยู่กับจำนวนของประเภท,และใกล้เคียงสถานที่ซึ่งแบ่งประเภท,<1 [ 0 , 1 ] m 0 < λ 1 < λ 2 < ⋯ < λ m - 1 < $Y_{1}, Y_{2}, ..., Y_{n}$$[0,1]$$m$$0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

แสดงถึงรุ่นที่จัดเป็นหมวดหมู่ของโดยโดยที่\} การคิดถึง discretization ของข้อมูลเป็นการแบ่งพาร์ติชันของข้อมูลต้นฉบับออกเป็นคลาสความแปรปรวนของสามารถถูกคิดว่าเป็นการรวมกันของการเปลี่ยนแปลงภายในและระหว่างกลุ่มสำหรับค่าคงที่ของ : Z ฉัน ( m , λ ) λ = { λ 1 , λ 2 , ⋯ , λ m - 1 } Y ฉัน m , $Y_{i}$$Z_{i}(m, {\boldsymbol \lambda})$${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$$Y_{i}$$m, {\boldsymbol \lambda}$

$$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$$

การจัดหมวดหมู่ที่กำหนดนั้นประสบความสำเร็จในการสร้างกลุ่มที่เป็นเนื้อเดียวกันถ้ามีความแปรปรวนของกลุ่มค่อนข้างน้อยปริมาณโดยดังนั้น เราค้นหาการจัดกลุ่มที่ให้ความสำคัญกับการเปลี่ยนแปลงในกับระยะ โดยเฉพาะอย่างยิ่งเราต้องการเลือก เพื่อเพิ่มระดับเพิ่มเติมเราไม่ได้เพิ่มความสม่ำเสมอของกลุ่มภายในอย่างมีนัยสำคัญด้วยเหตุนี้เราจึงกำหนดที่เหมาะสมที่สุดสำหรับค่าคงที่ของเป็นY i v a r ( E ( Y i | Z i ( m , λ ) ) m λ$E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$$Y_{i}$${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$$m$${\boldsymbol \lambda}$$m$

$$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$$

การวินิจฉัยอย่างคร่าวๆเพื่อพิจารณาว่าตัวเลือกของเพียงพอหรือไม่คือดูที่ดรอปออฟในเป็นฟังก์ชั่นของ - วิถีนี้ไม่เพิ่มความซ้ำซากจำเจและหลังจากมันลดลงอย่างรวดเร็วจากนั้นคุณจะเห็นว่าคุณมีความแม่นยำน้อยลงโดยรวมหมวดหมู่อื่น ๆ ฮิวริสติกนี้มีความคล้ายคลึงกันในจิตวิญญาณว่า " Scree Plot " บางครั้งใช้เพื่อดูว่าองค์ประกอบหลักอธิบายความแปรปรวน "พอเพียง" มากน้อยเพียงใดอี(วีR ( Y ฉัน | Z ฉัน ( ม. , λ ⋆ ม. ) ) )$m$$E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$$m$