การใช้ข้อมูลร่วมกันเพื่อประเมินความสัมพันธ์ระหว่างตัวแปรต่อเนื่องและตัวแปรเด็ดขาด

สำหรับชื่อเรื่องความคิดคือการใช้ข้อมูลร่วมกันที่นี่และหลัง MI เพื่อประมาณค่า "สหสัมพันธ์" (นิยามว่า "เท่าที่ฉันรู้เกี่ยวกับ A เมื่อฉันรู้จัก B") ระหว่างตัวแปรต่อเนื่องและตัวแปรเด็ดขาด ฉันจะบอกคุณความคิดของฉันเกี่ยวกับเรื่องนี้ในช่วงเวลาหนึ่ง แต่ก่อนที่ฉันจะแนะนำให้คุณอ่านคำถาม / คำตอบอื่น ๆ เกี่ยวกับ CrossValidatedเนื่องจากมีข้อมูลที่มีประโยชน์

ตอนนี้เนื่องจากเราไม่สามารถรวมกับตัวแปรเด็ดขาดเราต้องแยกแยะตัวแปรต่อเนื่อง สิ่งนี้สามารถทำได้ค่อนข้างง่ายใน R ซึ่งเป็นภาษาที่ฉันได้ทำการวิเคราะห์ด้วย ฉันชอบที่จะใช้cutฟังก์ชั่นนี้เพราะมันก็ใช้แทนค่า แต่ก็มีตัวเลือกอื่นเช่นกัน ประเด็นก็คือเราต้องตัดสินใจก่อนถึงจำนวนของ "ถังขยะ" (สถานะที่ไม่ต่อเนื่อง) ก่อนที่จะสามารถแยกแยะได้

อย่างไรก็ตามปัญหาหลักเป็นอีกปัญหาหนึ่ง: MI อยู่ในช่วงตั้งแต่ 0 ถึง∞เนื่องจากเป็นการวัดที่ไม่ได้มาตรฐานซึ่งหน่วยเป็นบิต ทำให้ยากมากที่จะใช้มันเป็นค่าสัมประสิทธิ์สหสัมพันธ์ ส่วนนี้สามารถแก้ไขได้โดยใช้สัมประสิทธิ์สหสัมพันธ์ทั่วโลกที่นี่และหลัง GCC ซึ่งเป็นเวอร์ชันมาตรฐานของ MI; GCC ถูกกำหนดดังนี้:

การอ้างอิง: สูตรมาจากข้อมูลร่วมกันเป็นเครื่องมือไม่เชิงเส้นสำหรับการวิเคราะห์ตลาดหุ้นโลกาภิวัตน์โดย Andreia Dionísio, Rui Menezes & Diana Mendes, 2010

GCC มีช่วงตั้งแต่ 0 ถึง 1 และสามารถใช้เพื่อประเมินความสัมพันธ์ระหว่างสองตัวแปรได้อย่างง่ายดาย แก้ไขปัญหาใช่มั้ย ชนิดของ เนื่องจากกระบวนการทั้งหมดนี้ขึ้นอยู่กับจำนวนของ 'ถังขยะ' ที่เราตัดสินใจใช้ในระหว่างการแยกส่วน นี่คือผลการทดลองของฉัน:

บนแกน y คุณมี GCC และบนแกน x คุณมีจำนวน 'ถังขยะ' ฉันตัดสินใจที่จะใช้สำหรับการแยกย่อย สองบรรทัดหมายถึงการวิเคราะห์ที่แตกต่างกันสองแบบที่ฉันทำกับชุดข้อมูลสองชุดที่แตกต่างกัน (แม้ว่าจะคล้ายกันมาก)

สำหรับฉันแล้วดูเหมือนว่าการใช้ MI โดยทั่วไปและ GCC โดยเฉพาะนั้นยังคงเป็นที่ถกเถียงกันอยู่ แต่ความสับสนนี้อาจเป็นผลมาจากความผิดพลาดจากด้านข้างของฉัน ทั้งสองกรณีฉันชอบที่จะได้ยินความเห็นของคุณเกี่ยวกับเรื่องนี้ (เช่นกันคุณมีวิธีการทางเลือกอื่นในการประมาณค่าสหสัมพันธ์ระหว่างตัวแปรเด็ดขาดและแบบต่อเนื่องหรือไม่)

มีวิธีที่ง่ายและดีกว่าในการจัดการกับปัญหานี้ ตัวแปรเด็ดขาดเป็นเพียงชุดของตัวแปรตัวบ่งชี้ มันเป็นแนวคิดพื้นฐานของทฤษฎีการวัดว่าตัวแปรดังกล่าวไม่แปรเปลี่ยนไปจากการจัดหมวดหมู่ใหม่ดังนั้นจึงไม่เหมาะสมที่จะใช้การติดฉลากตัวเลขของหมวดหมู่ในการวัดความสัมพันธ์ระหว่างตัวแปรอื่น (เช่น 'ความสัมพันธ์') . ด้วยเหตุผลนี้และการวัดความสัมพันธ์ระหว่างตัวแปรต่อเนื่องและตัวแปรเด็ดขาดควรขึ้นอยู่กับตัวแปรตัวบ่งชี้ที่ได้มาจากหลัง

เนื่องจากคุณต้องการวัดความสัมพันธ์ระหว่างตัวแปรสองตัวมันทำให้รู้สึกถึงความสัมพันธ์ระหว่างตัวแปรสุ่มต่อเนื่องและตัวแปรสุ่มตัวบ่งชี้ที่ได้รับมาจากตัวแปรเด็ดขาด ta ให้เรามี:$X$$I$$\phi \equiv \mathbb{P}(I=1)$

$$\mathbb{Cov}(I,X) = \mathbb{E}(IX) - \mathbb{E}(I) \mathbb{E}(X) = \phi \left[ \mathbb{E}(X|I=1) - \mathbb{E}(X) \right] ,$$

ซึ่งจะช่วยให้:

$$\mathbb{Corr}(I,X) = \sqrt{\frac{\phi}{1-\phi}} \cdot \frac{\mathbb{E}(X|I=1) - \mathbb{E}(X)}{\mathbb{S}(X)} .$$

ดังนั้นความสัมพันธ์ระหว่างตัวแปรสุ่มต่อเนื่องและตัวบ่งชี้ตัวแปรสุ่มเป็นฟังก์ชั่นที่ค่อนข้างง่ายของความน่าจะเป็นตัวบ่งชี้และกำไรที่ได้มาตรฐานในมูลค่าที่คาดหวังของจากเครื่องบน 1 โปรดทราบว่าความสัมพันธ์นี้ไม่จำเป็นต้องมีการแยกตัวแปรสุ่มต่อเนื่อง$X$$I$$\phi$$X$$I=1$

---

สำหรับตัวแปรเด็ดขาดทั่วไปมีช่วงคุณจะขยายความคิดนี้เพื่อให้มีเวกเตอร์ของค่าความสัมพันธ์สำหรับผลลัพธ์ของตัวแปรเด็ดขาดแต่ละอัน สำหรับผลลัพธ์ใด ๆเราสามารถกำหนดตัวบ่งชี้ที่สอดคล้องกันและเรามี:$C$$1, ..., m$$C=k$$I_k \equiv \mathbb{I}(C=k)$

$$\mathbb{Corr}(I_k,X) = \sqrt{\frac{\phi_k}{1-\phi_k}} \cdot \frac{\mathbb{E}(X|C=k) - \mathbb{E}(X)}{\mathbb{S}(X)} .$$

จากนั้นเราสามารถกำหนดเป็นเวกเตอร์ของค่าสหสัมพันธ์สำหรับ แต่ละหมวดหมู่ของตัวแปรสุ่มเด็ดขาด นี่เป็นความรู้สึกเดียวที่จะพูดถึง 'สหสัมพันธ์' สำหรับตัวแปรสุ่มที่เป็นหมวดหมู่$\mathbb{Corr}(C,X) \equiv (\mathbb{Corr}(I_1,X), ..., \mathbb{Corr}(I_m,X))$

( หมายเหตุ:มันเป็นเรื่องเล็กน้อยที่จะแสดงให้เห็นว่าและดังนั้นเวกเตอร์สหสัมพันธ์สำหรับตัวแปรสุ่มเด็ดขาดอยู่ภายใต้ข้อ จำกัด นี้ซึ่งหมายความว่าให้ความรู้เกี่ยวกับความน่าจะเป็นเวกเตอร์สำหรับ ตัวแปรสุ่มเด็ดขาดและค่าเบี่ยงเบนมาตรฐานของคุณสามารถหาเวกเตอร์ได้จากองค์ประกอบใด ๆ)$\sum_k \mathbb{Cov}(I_k,X) = 0$$X$$m-1$

---

การแสดงออกข้างต้นมีไว้สำหรับค่าสหสัมพันธ์ที่แท้จริง แต่แน่นอนว่าสิ่งเหล่านี้จะต้องถูกประเมินในการวิเคราะห์ที่กำหนด การประมาณความสัมพันธ์ของตัวบ่งชี้จากข้อมูลตัวอย่างนั้นง่ายและสามารถทำได้โดยการทดแทนการประมาณที่เหมาะสมสำหรับแต่ละส่วน (คุณสามารถใช้วิธีการประเมินที่นักเล่นนิยมได้หากต้องการ) ข้อมูลตัวอย่างที่ได้รับเราสามารถประมาณส่วนของสมการสหสัมพันธ์ได้ดังนี้$(x_1, c_1), ..., (x_n, c_n)$

$$\hat{\phi}_k \equiv \frac{1}{n} \sum_{i=1}^n \mathbb{I}(c_i=k).$$

$$\hat{\mathbb{E}}(X) \equiv \bar{x} \equiv \frac{1}{n} \sum_{i=1}^n x_i.$$

$$\hat{\mathbb{E}}(X|C=k) \equiv \bar{x}_k \equiv \frac{1}{n} \sum_{i=1}^n x_i \mathbb{I}(c_i=k) \Bigg/ \hat{\phi}_k .$$

$$\hat{\mathbb{S}}(X) \equiv s_X \equiv \sqrt{\frac{1}{n-1} \sum_{i=1}^n (x_i - \bar{x})^2}.$$

การแทนที่การประมาณเหล่านี้จะทำให้การประมาณค่าพื้นฐานของเวกเตอร์สหสัมพันธ์ หากคุณมีข้อมูลพารามิเตอร์เกี่ยวกับคุณสามารถประมาณเวกเตอร์สหสัมพันธ์ได้โดยตรงตามโอกาสสูงสุดหรือเทคนิคอื่น ๆ$X$