การถดถอยโลจิสติกเป็นการทดสอบแบบไม่อิงพารามิเตอร์หรือไม่?

ฉันเพิ่งได้รับคำถามต่อไปนี้ทางอีเมล ฉันจะโพสต์คำตอบด้านล่าง แต่ฉันสนใจที่จะฟังสิ่งที่คนอื่นคิด

คุณจะเรียกการถดถอยโลจิสติกว่าเป็นการทดสอบแบบไม่อิงพารามิเตอร์หรือไม่? ความเข้าใจของฉันคือการติดฉลากการทดสอบที่ไม่ใช่พารามิเตอร์เนื่องจากข้อมูลของมันไม่ได้กระจายตามปกติไม่เพียงพอ มันจะทำอย่างไรกับการขาดสมมติฐาน การถดถอยโลจิสติกมีสมมติฐาน

Larry Wasserman กำหนดโมเดลพารามิเตอร์เป็นชุดของการแจกแจง "ที่สามารถกำหนดพารามิเตอร์ด้วยพารามิเตอร์จำนวน จำกัด " (p.87) ในทางตรงกันข้ามโมเดลที่ไม่ใช่พารามิเตอร์คือชุดของการแจกแจงที่ไม่สามารถทำให้พารามิเตอร์ถูก จำกัด ด้วยพารามิเตอร์จำนวน จำกัด

ดังนั้นโดยนิยามการถดถอยโลจิสติกมาตรฐานเป็นแบบจำลองพารามิเตอร์ แบบจำลองการถดถอยโลจิสติกเป็นตัวแปรเนื่องจากมีชุดของพารามิเตอร์ที่ จำกัด พารามิเตอร์นั้นเป็นสัมประสิทธิ์การถดถอย สิ่งเหล่านี้มักจะตรงกับหนึ่งสำหรับตัวทำนายแต่ละตัวบวกค่าคงที่ การถดถอยโลจิสติกเป็นรูปแบบเฉพาะของโมเดลเชิงเส้นทั่วไป โดยเฉพาะมันเกี่ยวข้องกับการใช้ฟังก์ชั่นการเชื่อมโยง logit เพื่อจำลองข้อมูลที่กระจายแบบทวินาม

น่าสนใจเป็นไปได้ที่จะทำการถดถอยโลจิสติกแบบไม่มีพารามิเตอร์ (เช่น Hastie, 1983) สิ่งนี้อาจเกี่ยวข้องกับการใช้เส้นโค้งหรือรูปแบบของการทำให้ตัวแปรไม่เรียบเพื่อสร้างแบบจำลองผลกระทบของตัวทำนาย

อ้างอิง

• Wasserman, L. (2004) สถิติทั้งหมด: หลักสูตรที่กระชับในการอนุมานเชิงสถิติ Springer Verlag
• Hastie, T. (1983) การถดถอยโลจิสติกที่ไม่ใช่พารามิเตอร์ SLAC PUB-3160, มิถุนายน ไฟล์ PDF

ฉันว่าการถดถอยโลจิสติกไม่ใช่การทดสอบเลย อย่างไรก็ตามการถดถอยโลจิสติกอาจนำไปสู่การไม่มีการทดสอบหรือการทดสอบหลายอย่าง

คุณค่อนข้างถูกต้องว่าการติดฉลากสิ่งที่ไม่ใช่พารามิเตอร์เนื่องจากมันไม่ปกติไม่เพียงพอ ฉันจะเรียกว่าตัวแปรเชิงครอบครัวอย่างชัดเจนดังนั้นฉันมักจะพิจารณาการถดถอยโลจิสติก (และปัวซองถดถอยและแกมม่าถดถอยและ ... ) เป็นตัวแปรแม้ว่าจะมีสถานการณ์ที่ฉันอาจยอมรับอาร์กิวเมนต์ที่ถดถอยโลจิสติกโดยเฉพาะสามารถ ถือเป็น nonparametric (หรืออย่างน้อยในความรู้สึกมือหยักเพียงกึ่ง - "พาราเมตริก")

ระวังความสับสนเกี่ยวกับประสาทสัมผัสทั้งสองซึ่งอาจจะเรียกว่าการถดถอยแบบไม่มีพารามิเตอร์

$x$$y$$x$แปรปรวนโดยค่าความชันและค่าสัมประสิทธิ์การสกัดกั้น

$y$$x$ที่ไม่ใช่พารามิเตอร์ อนันต์มิติ) ไม่ใช่การแจกแจงข้อผิดพลาด

ใช้ประสาทสัมผัสทั้งสอง แต่เมื่อพูดถึงการถดถอยแล้วชนิดที่สองมักถูกใช้บ่อยกว่า

มันยังเป็นไปได้ที่จะไม่ใช่พารามิเตอร์ในประสาทสัมผัสทั้งสอง แต่ยากขึ้น (ด้วยข้อมูลที่เพียงพอฉันสามารถทำได้เช่นพอดีกับการถดถอยเชิงเส้นแบบถ่วงน้ำหนักภายในประเทศของ Theil)

ในกรณีของ GLM รูปแบบที่สองของการถดถอยแบบหลายพารามิเตอร์รวมถึงเกม รูปแบบที่สองนั้นเป็นความรู้สึกที่ Hastie ปฏิบัติงานโดยทั่วไป

ความแตกต่างที่เป็นประโยชน์อย่างหนึ่งที่อาจเพิ่มเล็กน้อยให้กับคำตอบข้างต้น: Andrew Ng ให้การวิเคราะห์แบบฮิวริสติกสำหรับความหมายของการเป็นแบบจำลองที่ไม่มีพารามิเตอร์ในการบรรยายที่ 1จากเนื้อหาหลักสูตรสำหรับหลักสูตร CS-229 ของ Stanford

มี Ng พูดว่า (pp. 14-15):

$\theta_{i}$$\theta_{i}$$h$

ฉันคิดว่านี่เป็นวิธีเปรียบเทียบที่มีประโยชน์ในการคิดเกี่ยวกับมันเพราะมันแทรกความคิดของความซับซ้อนโดยตรง แบบจำลองที่ไม่ใช่พารามิเตอร์นั้นไม่ได้มีความซับซ้อนน้อยกว่าอย่างแท้จริงเนื่องจากอาจจำเป็นต้องเก็บข้อมูลการฝึกอบรมมากขึ้น หมายความว่าคุณไม่ได้ลดการใช้ข้อมูลการฝึกอบรมโดยการบีบอัดข้อมูลลงในการคำนวณที่มีพารามิเตอร์อย่างละเอียด เพื่อประสิทธิภาพหรือความเป็นกลางหรือโฮสต์ของคุณสมบัติอื่นคุณอาจต้องการกำหนดพารามิเตอร์ แต่อาจมีประสิทธิภาพเพิ่มขึ้นหากคุณสามารถละทิ้งการกำหนดพารามิเตอร์และเก็บข้อมูลจำนวนมากได้

ฉันคิดว่าการถดถอยโลจิสติกเป็นเทคนิคแบบพารามิเตอร์

สิ่งนี้อาจเป็นประโยชน์จาก Wolfowitz (1942) [ฟังก์ชันการแบ่งส่วนเพิ่มเติมและระดับของสถิติเชิงสถิติพงศาวดารของสถิติคณิตศาสตร์, 1942, 13, 247-279]:

“ ฟังก์ชันการแจกแจง[หมายเหตุ: พหูพจน์ !!!]ของตัวแปรสุ่มต่าง ๆ ที่เข้าสู่ปัญหาของพวกเขาถูกสันนิษฐานว่าเป็นรูปแบบการทำงานที่เป็นที่รู้จักและทฤษฎีการประมาณและการทดสอบสมมติฐานเป็นทฤษฎีของการประมาณค่าและการทดสอบสมมติฐานเกี่ยวกับ หนึ่งหรือหลายพารามิเตอร์ จำกัด จำนวนความรู้ที่จะกำหนดฟังก์ชันการแจกแจงต่างๆที่เกี่ยวข้องอย่างสมบูรณ์ เราจะอ้างถึงสถานการณ์นี้เพื่อความกะทัดรัดเป็นกรณีพารามิเตอร์และแสดงให้เห็นถึงสถานการณ์ตรงข้ามซึ่งรูปแบบการทำงานของการแจกแจงไม่เป็นที่รู้จัก 'เป็นกรณีที่ไม่ใช่พารามิเตอร์

นอกจากนี้เมื่อได้ยินเรื่องนี้พูดถึงค่อนข้างมากฉันก็พบว่ามันน่าขบขันโดย Noether (1984) [Nonparametrics: The Early Years-Impressions and Recollections The American Statistics, 1984, 38, 173-178]:

“ คำว่า nonparametric อาจมีความสำคัญทางประวัติศาสตร์และความหมายสำหรับนักสถิติเชิงทฤษฎี แต่มันมีไว้เพื่อสร้างความสับสนให้กับนักสถิติประยุกต์เท่านั้น”

Hastie และ Tibshirani กำหนดว่าการถดถอยเชิงเส้นเป็นวิธีการเชิงพารามิเตอร์เนื่องจากมันถือว่าเป็นรูปแบบการทำงานเชิงเส้นของ f (X) วิธีที่ไม่ใช่พารามิเตอร์ไม่ถือว่าฟอร์มสำหรับ f (X) อย่างชัดเจน ซึ่งหมายความว่าวิธีการที่ไม่ใช้พารามิเตอร์จะเหมาะสมกับตัวแบบโดยยึดตามค่าประมาณของ f ซึ่งคำนวณจากแบบจำลอง การถดถอยโลจิสติกกำหนดว่า p (x) = Pr (Y = 1 | X = x) โดยที่ความน่าจะเป็นคำนวณโดยฟังก์ชันโลจิสติก แต่ขอบเขตโลจิสติกที่แยกชั้นเรียนนั้นไม่ได้ถูกสันนิษฐานซึ่งยืนยันว่า LR ยังไม่ใช่พารามิเตอร์