การกำหนดฟังก์ชันการกระชับส่วนโค้งที่เหมาะสมที่สุดจากฟังก์ชันเชิงเส้น, เลขชี้กำลังและฟังก์ชันลอการิทึม

บริบท:

จากคำถามเกี่ยวกับ Mathematics Stack Exchange (ฉันสามารถสร้างโปรแกรม)มีใครบางคนมีชุดของจุดและต้องการให้พอดีกับเส้นโค้งกับมันเส้นเชิงเส้นชี้แจงหรือลอการิทึม วิธีปกติคือการเริ่มต้นด้วยการเลือกหนึ่งในวิธีเหล่านี้ (ซึ่งระบุรุ่น) แล้วทำการคำนวณทางสถิติ$x-y$

แต่สิ่งที่เป็นที่ต้องการจริงๆคือการหาเส้นโค้ง 'ที่ดีที่สุด' จากเส้นตรง, เลขชี้กำลังหรือลอการิทึม

เห็นได้ชัดว่าใครจะลองทั้งสามและเลือกเส้นโค้งที่พอดีที่สุดของทั้งสามตามค่าสัมประสิทธิ์สหสัมพันธ์ที่ดีที่สุด

แต่อย่างใดฉันรู้สึกว่านี่ไม่ใช่เพียว วิธีที่ได้รับการยอมรับโดยทั่วไปคือการเลือกแบบจำลองของคุณก่อนหนึ่งในสามนั้น (หรือฟังก์ชันการเชื่อมโยงอื่น ๆ ) จากนั้นข้อมูลจะคำนวณค่าสัมประสิทธิ์ และโพสต์พฤตินัยการเลือกที่ดีที่สุดของทั้งหมดคือการเก็บเชอร์รี่ แต่สำหรับฉันไม่ว่าคุณจะกำหนดฟังก์ชั่นหรือค่าสัมประสิทธิ์จากข้อมูลที่ยังคงเป็นสิ่งเดียวกันขั้นตอนของคุณคือการค้นพบสิ่งที่ดีที่สุด ... (สมมติว่าฟังก์ชันใดคือ

คำถาม:

• เหมาะสมหรือไม่ที่จะเลือกแบบจำลองการกระชับที่ดีที่สุดจากแบบจำลองเชิงเส้นเอ็กซ์โพเนนเชียลและลอการิทึมตามการเปรียบเทียบสถิติแบบเต็ม?
• ถ้าเป็นเช่นนั้นวิธีที่เหมาะสมที่สุดในการทำเช่นนี้คืออะไร?
• หากการถดถอยช่วยค้นหาพารามิเตอร์ (สัมประสิทธิ์) ในฟังก์ชั่นเหตุใดจึงไม่มีพารามิเตอร์ที่แยกออกมาเพื่อเลือกว่าตระกูลใดในสามตระกูลที่ดีที่สุดมาจากไหน

• คุณอาจต้องการที่จะตรวจสอบซอฟแวร์ฟรีที่เรียกว่าEureqa มันมีจุดประสงค์เฉพาะของกระบวนการอัตโนมัติในการค้นหาทั้งรูปแบบการทำงานและพารามิเตอร์ของความสัมพันธ์การทำงานที่กำหนด
• หากคุณกำลังเปรียบเทียบรุ่นด้วยจำนวนพารามิเตอร์ที่แตกต่างกันโดยทั่วไปคุณจะต้องการใช้ขนาดที่พอดีซึ่งลงโทษรุ่นที่มีพารามิเตอร์มากกว่า มีวรรณกรรมมากมายที่การวัดความเหมาะสมเหมาะสมที่สุดสำหรับการเปรียบเทียบแบบจำลองและปัญหามีความซับซ้อนมากขึ้นเมื่อแบบจำลองไม่ซ้อนกัน ฉันสนใจที่จะฟังสิ่งที่คนอื่นคิดว่าเป็นดัชนีเปรียบเทียบแบบจำลองที่เหมาะสมที่สุดในสถานการณ์ของคุณ (เป็นประเด็นข้างเคียงเมื่อเร็ว ๆ นี้มีการอภิปรายในบล็อกของฉันเกี่ยวกับดัชนีการเปรียบเทียบแบบจำลองในบริบทของการเปรียบเทียบแบบจำลองสำหรับการปรับเส้นโค้ง)
• จากประสบการณ์ของฉันมีการใช้แบบจำลองการถดถอยแบบไม่เชิงเส้นด้วยเหตุผลเกินกว่าความเหมาะสมทางสถิติอย่างแท้จริงกับข้อมูลที่ได้รับ:
  1. ตัวแบบที่ไม่ใช่เชิงเส้นทำให้การทำนายมีความน่าเชื่อถือมากขึ้นนอกช่วงของข้อมูล
  2. โมเดลที่ไม่ใช่เชิงเส้นต้องการพารามิเตอร์น้อยลงเพื่อให้พอดี
  3. แบบจำลองการถดถอยแบบไม่เชิงเส้นมักถูกนำไปใช้ในโดเมนที่มีการวิจัยก่อนหน้านี้จำนวนมากและการเลือกรูปแบบการชี้นำทฤษฎี

นี่เป็นคำถามที่ใช้ได้ในโดเมนที่หลากหลายมาก

โมเดลที่ดีที่สุดคือโมเดลที่สามารถทำนายจุดข้อมูลที่ไม่ได้ใช้ระหว่างการประมาณค่าพารามิเตอร์ ในอุดมคติแล้วจะคำนวณพารามิเตอร์โมเดลด้วยชุดย่อยของชุดข้อมูลและประเมินประสิทธิภาพพอดีกับชุดข้อมูลอื่น หากคุณมีความสนใจในรายละเอียดทำการค้นหาด้วย "การตรวจสอบข้าม"

ดังนั้นคำตอบสำหรับคำถามแรกคือ "ไม่" คุณไม่สามารถใช้โมเดลที่เหมาะสมที่สุด ภาพที่คุณใส่พหุนามเหมาะสมกับจุดข้อมูล N ถึง N นี่จะเป็นแบบที่สมบูรณ์แบบเพราะทุกรุ่นจะผ่านจุดข้อมูลทุกจุด อย่างไรก็ตามรุ่นนี้จะไม่พูดคุยกับข้อมูลใหม่

วิธีที่เหมาะสมที่สุดเท่าที่ฉันจะบอกได้คือการคำนวณว่าแบบจำลองของคุณสามารถพูดคุยกับชุดข้อมูลอื่น ๆ ได้มากเพียงใดโดยใช้เมตริกที่ลงโทษความกว้างของส่วนที่เหลือและจำนวนพารามิเตอร์ในแบบจำลองของคุณ AIC และ BIC เป็นบางส่วนของการวัดเหล่านี้ฉันรู้

เนื่องจากผู้คนจำนวนมากสำรวจความพอดีของเส้นโค้งที่หลากหลายกับข้อมูลของพวกเขาเป็นประจำฉันจึงไม่ทราบว่าการจองของคุณมาจากที่ไหน ได้รับมีความจริงที่ว่าสมการกำลังสองจะพอดีอย่างน้อยเป็นเส้นตรงและลูกบาศก์อย่างน้อยเช่นเดียวกับกำลังสองดังนั้นมีวิธีการทดสอบความสำคัญทางสถิติของการเพิ่มคำไม่เป็นเชิงเส้นและดังนั้น หลีกเลี่ยงความซับซ้อนที่ไม่จำเป็น แต่การฝึกขั้นพื้นฐานของการทดสอบความสัมพันธ์ในรูปแบบต่าง ๆ นั้นเป็นเพียงการฝึกฝนที่ดี อันที่จริงแล้วเราอาจเริ่มต้นด้วยการถดถอยแบบยืดหยุ่นมากเพื่อดูว่าเส้นโค้งแบบไหนที่เหมาะสมที่สุด

คุณต้องค้นหาความสมดุลระหว่างวิทยาศาสตร์ / ทฤษฎีที่นำไปสู่ข้อมูลและสิ่งที่ข้อมูลบอกคุณ เช่นเดียวกับที่คนอื่นพูดถ้าคุณปล่อยให้ตัวเองเข้ากับการเปลี่ยนแปลงที่เป็นไปได้ (พหุนามในระดับใด ฯลฯ ) จากนั้นคุณจะจบลงด้วยการฟิตและรับบางสิ่งที่ไร้ประโยชน์

วิธีหนึ่งในการโน้มน้าวตัวคุณเองคือการจำลองสถานการณ์ เลือกหนึ่งในโมเดล (เชิงเส้น, เอ็กซ์โปแนนเชียล, บันทึก) และสร้างข้อมูลที่ตามหลังโมเดลนี้ (พร้อมตัวเลือกพารามิเตอร์) หากความแปรปรวนแบบมีเงื่อนไขของคุณของค่า y มีค่าน้อยเมื่อเทียบกับการแพร่กระจายของตัวแปร x ดังนั้นพล็อตแบบง่ายจะทำให้เห็นได้ชัดว่าแบบจำลองใดถูกเลือกและความจริงคืออะไร แต่ถ้าคุณเลือกชุดพารามิเตอร์ที่ไม่ชัดเจนจากพล็อต (อาจเป็นกรณีที่โซลูชันการวิเคราะห์น่าสนใจ) จากนั้นวิเคราะห์แต่ละวิธีทั้ง 3 วิธีและดูว่าแบบใดที่เหมาะสมที่สุด ฉันคาดหวังว่าคุณจะพบว่าพอดี "ดีที่สุด" มักจะไม่พอดี "จริง"

ในทางกลับกันบางครั้งเราต้องการให้ข้อมูลบอกเราให้มากที่สุดและเราอาจไม่มีวิทยาศาสตร์ / ทฤษฎีเพื่อกำหนดลักษณะของความสัมพันธ์อย่างเต็มที่ กระดาษต้นฉบับโดย Box and Cox (JRSS B, vol. 26, no. 2, 1964) กล่าวถึงวิธีการเปรียบเทียบระหว่างการแปลงหลายครั้งในตัวแปร y ชุดการแปลงที่กำหนดมีเชิงเส้นและบันทึกเป็นกรณีพิเศษ (แต่ไม่ใช่เลขชี้กำลัง) แต่ไม่มีอะไรในทฤษฎีของกระดาษที่ จำกัด คุณไว้เพียงครอบครัวแห่งการเปลี่ยนแปลงวิธีการเดียวกันอาจขยายออกไปเพื่อรวมการเปรียบเทียบระหว่าง 3 แบบที่คุณสนใจ