แนวปฏิบัติที่ดีที่สุดเมื่อรักษาข้อมูลช่วงเป็นต่อเนื่อง

ฉันกำลังดูว่าความอุดมสมบูรณ์นั้นเกี่ยวข้องกับขนาดหรือไม่ ขนาดคือ (แน่นอน) ต่อเนื่องอย่างไรก็ตามความอุดมสมบูรณ์จะถูกบันทึกไว้ในสเกลดังกล่าว

A = 0-10
B = 11-25
C = 26-50
D = 51-100
E = 101-250
F = 251-500
G = 501-1000
H = 1001-2500
I = 2501-5000
J = 5001-10,000
etc... 

A ถึง Q ... 17 ระดับ ฉันคิดว่าวิธีหนึ่งที่เป็นไปได้คือการกำหนดตัวเลขให้กับตัวอักษรแต่ละตัว: อย่างน้อยที่สุด, สูงสุดหรือค่ามัธยฐาน (เช่น A = 5, B = 18, C = 38, D = 75.5 ... )

ข้อผิดพลาดที่อาจเกิดขึ้น - และเช่นนี้จะเป็นการดีกว่าถ้าจะจัดการกับข้อมูลนี้เป็นหมวดหมู่หรือไม่

ฉันได้อ่านคำถามนี้ซึ่งให้ความคิดบางอย่าง - แต่หนึ่งในกุญแจของชุดข้อมูลนี้คือหมวดหมู่นั้นไม่เท่ากัน - ดังนั้นการปฏิบัติตามหมวดหมู่จะถือว่าความแตกต่างระหว่าง A และ B เหมือนกับความแตกต่างระหว่าง B และ C ... (ซึ่งสามารถแก้ไขได้โดยใช้ลอการิทึม - ขอบคุณ Anonymouse)

ในที่สุดฉันต้องการดูว่าขนาดสามารถใช้เป็นตัวทำนายความอุดมสมบูรณ์ได้หรือไม่หลังจากพิจารณาปัจจัยด้านสิ่งแวดล้อมอื่น ๆ การคาดการณ์จะอยู่ในช่วง: ขนาดที่กำหนด X และปัจจัย A, B และ C เราคาดการณ์ว่าความอุดมสมบูรณ์ Y จะลดลงระหว่าง Min และ Max (ซึ่งฉันคิดว่าสามารถขยายหนึ่งคะแนนสเกล: มากกว่า Min D และน้อยกว่า Max F ... ยิ่งแม่นยำยิ่งขึ้น)

วิธีการแก้ปัญหาอย่างละเอียด

การปฏิบัติต่อค่าต่าง ๆ อย่างเป็นหมวดหมู่จะสูญเสียข้อมูลที่สำคัญเกี่ยวกับขนาดที่สัมพันธ์กัน วิธีการมาตรฐานที่จะเอาชนะนี้จะได้รับคำสั่งการถดถอยโลจิสติก ผลวิธีนี้ "รู้" ว่า$A\lt B\lt \cdots \lt J\lt \ldots$ และการใช้ความสัมพันธ์ที่สังเกตได้กับ regressors (เช่นขนาด) นั้นเหมาะสมกับ (โดยพลการค่อนข้าง) กับแต่ละหมวดหมู่ที่เคารพการสั่งซื้อ

ให้พิจารณาคู่ที่ 30 (ขนาดหมวดหมู่ความอุดมสมบูรณ์) ที่สร้างขึ้นเป็น

size = (1/2, 3/2, 5/2, ..., 59/2)
e ~ normal(0, 1/6)
abundance = 1 + int(10^(4*size + e))

ด้วยความอุดมสมบูรณ์แบ่งออกเป็นช่วง ๆ [0,10], [11,25], ... , [10001,25000]

การถดถอยโลจิสติกที่สั่งสร้างการกระจายความน่าจะเป็นสำหรับแต่ละประเภท; การกระจายขึ้นอยู่กับขนาด จากข้อมูลโดยละเอียดดังกล่าวคุณสามารถผลิตค่าและช่วงเวลาโดยประมาณได้ นี่คือพล็อตของ 10 PDF ที่ประเมินจากข้อมูลเหล่านี้ (การประมาณการสำหรับหมวดหมู่ 10 เป็นไปไม่ได้เนื่องจากไม่มีข้อมูลในนั้น):

ทางออกอย่างต่อเนื่อง

ทำไมไม่เลือกค่าตัวเลขเพื่อแสดงแต่ละหมวดหมู่และดูความไม่แน่นอนเกี่ยวกับความอุดมสมบูรณ์ที่แท้จริงภายในหมวดหมู่เป็นส่วนหนึ่งของคำผิดพลาด

เราสามารถวิเคราะห์สิ่งนี้เป็นการประมาณแบบไม่ต่อเนื่องกับการแสดงออกในอุดมคติ $f$ ซึ่งแปลงค่าความอุดมสมบูรณ์ $a$ เป็นค่าอื่น ๆ $f(a)$ ซึ่งข้อผิดพลาดในการสังเกตคือการประมาณที่ดีการกระจายแบบสมมาตรและขนาดที่ประมาณเดียวกันโดยไม่คำนึงถึง $a$ (การแปรปรวน - แปรปรวนเสถียรภาพ)

เพื่อให้การวิเคราะห์ง่ายขึ้นสมมติว่ามีการเลือกหมวดหมู่ (ตามทฤษฎีหรือประสบการณ์) เพื่อให้เกิดการเปลี่ยนแปลงดังกล่าว เราอาจสันนิษฐานได้ว่า$f$ แสดงจุดตัดหมวดหมู่อีกครั้ง $\alpha_i$ เป็นดัชนีของพวกเขา $i$. ข้อเสนอมีจำนวนเพื่อเลือกค่า "คุณสมบัติ" บางอย่าง$\beta_i$ ภายในแต่ละหมวดหมู่ $i$ และการใช้ $f(\beta_i)$ เป็นค่าตัวเลขของความอุดมสมบูรณ์เมื่อใดก็ตามที่ความอุดมสมบูรณ์ถูกตั้งข้อสังเกตให้อยู่ระหว่าง $\alpha_i$ และ $\alpha_{i+1}$. นี่จะเป็นพร็อกซีสำหรับค่าที่แสดงซ้ำอย่างถูกต้อง$f(a)$.

สมมติว่าความอุดมสมบูรณ์นั้นเกิดจากความผิดพลาด $\varepsilon$ดังนั้นตัวเลขสมมุติฐานนั้นเป็นจริง $a+\varepsilon$ แทน $a$. ข้อผิดพลาดเกิดขึ้นในการเข้ารหัสนี้เป็น$f(\beta_i)$ คือโดยนิยามความแตกต่าง $f(\beta_i) - f(a)$ซึ่งเราสามารถแสดงความแตกต่างของคำสองคำ

เทอมแรก $f(a + \varepsilon) - f(a)$ถูกควบคุมโดย $f$ (เราไม่สามารถทำอะไรเกี่ยวกับ $\varepsilon$) และจะปรากฏขึ้นหากเราไม่ได้จัดหมวดหมู่ความอุดมสมบูรณ์ เทอมที่สองเป็นแบบสุ่ม - มันขึ้นอยู่กับ$\varepsilon$- และเห็นได้ชัดว่ามีความสัมพันธ์กับ $\varepsilon$. แต่เราสามารถพูดอะไรบางอย่างเกี่ยวกับมันต้องอยู่ระหว่าง$i - f(\beta_i) \lt 0$ และ $i+1 - f(\beta_i) \ge 0$. ยิ่งกว่านั้นถ้า$f$ทำงานได้ดีในระยะที่สองอาจมีการกระจายอย่างสม่ำเสมอ ข้อพิจารณาทั้งสองแนะนำให้เลือก$\beta_i$ ดังนั้น $f(\beta_i)$ อยู่กึ่งกลางระหว่าง $i$ และ $i+1$; นั่นคือ,$\beta_i \approx f^{-1}(i+1/2)$.

หมวดหมู่เหล่านี้ในคำถามนี้ก่อให้เกิดความก้าวหน้าทางเรขาคณิตโดยประมาณซึ่งแสดงให้เห็นว่า $f$เป็นลอการิทึมเวอร์ชันที่บิดเบี้ยวเล็กน้อย ดังนั้นเราควรจะพิจารณาใช้วิธีการทางเรขาคณิตของจุดสิ้นสุดช่วงเวลาเพื่อแสดงข้อมูลความอุดมสมบูรณ์

การถดถอยกำลังสองน้อยสุดสามัญ (OLS) ด้วยขั้นตอนนี้ให้ความชันของ 7.70 (ข้อผิดพลาดมาตรฐานคือ 1.00) และค่าตัดขวาง 0.70 (ข้อผิดพลาดมาตรฐานคือ 0.58), แทนความชัน 8.19 (se ของ 0.97) และสกัดกั้น 0.69 (se ของ 0.56) เมื่อบันทึกจำนวนมากมายกับการถดถอย ทั้งสองแสดงการถดถอยของค่าเฉลี่ยเนื่องจากความชันเชิงทฤษฎีควรใกล้เคียง$4 \log(10) \approx 9.21$. วิธีการจัดหมวดหมู่แสดงการถดถอยอีกเล็กน้อยสำหรับค่าเฉลี่ย (ความชันเล็ก) เนื่องจากข้อผิดพลาดการแยกส่วนเพิ่มตามที่คาดไว้

พล็อตนี้จะแสดงความอุดมสมบูรณ์ที่ไม่ได้จัดหมวดหมู่พร้อมกับความพอดีบนพื้นฐานของความอุดมสมบูรณ์ของหมวดหมู่ (ใช้วิธีทางเรขาคณิตของจุดสิ้นสุดหมวดหมู่ตามที่แนะนำ) และความพอดีที่ขึ้นอยู่กับความอุดมสมบูรณ์ของตัวเอง เหมาะกับเป็นอย่างน่าทึ่งใกล้แสดงให้เห็นวิธีการเปลี่ยนประเภทโดยค่าตัวเลขได้รับการแต่งตั้งอย่างเหมาะสมนี้ทำงานได้ดีในตัวอย่าง

การดูแลบางอย่างเป็นสิ่งจำเป็นในการเลือก "กึ่งกลาง" $\beta_i$ สำหรับสองหมวดหมู่ที่รุนแรงเพราะบ่อยครั้ง $f$ไม่ได้มีขอบเขต (สำหรับตัวอย่างนี้ฉัน crudely เอาจุดสิ้นสุดด้านซ้ายของประเภทแรกที่จะ$1$ ค่อนข้างมากกว่า $0$ และจุดสิ้นสุดที่ถูกต้องของหมวดหมู่สุดท้ายที่จะเป็น $25000$.) วิธีหนึ่งคือการแก้ปัญหาก่อนโดยใช้ข้อมูลที่ไม่ได้อยู่ในหมวดหมู่ที่มากที่สุดจากนั้นใช้ความพอดีเพื่อประเมินค่าที่เหมาะสมสำหรับหมวดหมู่ที่รุนแรงเหล่านั้นจากนั้นกลับไปและปรับข้อมูลทั้งหมดให้พอดี ค่า p จะดีเกินไปเล็กน้อย แต่โดยรวมแล้วความพอดีควรมีความแม่นยำมากกว่าและมีอคติน้อยกว่า

พิจารณาการใช้ลอการิทึมของขนาด