อะไรคือความแตกต่างของ "เชิงกล" ระหว่างการถดถอยเชิงเส้นแบบหลายจุดด้วย lags และอนุกรมเวลา

ฉันสำเร็จการศึกษาด้านธุรกิจและเศรษฐศาสตร์ซึ่งกำลังศึกษาระดับปริญญาโทด้านวิศวกรรมข้อมูล ในขณะที่กำลังศึกษาการถดถอยเชิงเส้น (LR) และการวิเคราะห์อนุกรมเวลา (TS) คำถามหนึ่งก็ผุดขึ้นในใจของฉัน เหตุใดจึงต้องสร้างวิธีการใหม่ทั้งหมดเช่นอนุกรมเวลา (ARIMA) แทนที่จะใช้การถดถอยเชิงเส้นหลายเส้นและการเพิ่มตัวแปรที่ล้าหลัง (โดยใช้คำสั่งล่าช้าที่กำหนดโดยใช้ ACF และ PACF) ดังนั้นอาจารย์แนะนำให้ฉันเขียนเรียงความเล็ก ๆ น้อย ๆ เกี่ยวกับปัญหา ฉันจะไม่ขอความช่วยเหลือจากมือเปล่าดังนั้นฉันจึงทำการวิจัยในหัวข้อนี้

ฉันรู้แล้วว่าเมื่อใช้ LR หากการละเมิดสมมติฐานของเกาส์ - มาร์คอฟการถดถอยของ OLS นั้นไม่ถูกต้องและสิ่งนี้เกิดขึ้นเมื่อใช้ข้อมูลอนุกรมเวลา (ความสัมพันธ์อัตโนมัติเป็นต้น) (คำถามอื่นเกี่ยวกับเรื่องนี้สมมุติฐานของจีเอ็มหนึ่งข้อคือตัวแปรอิสระควรแจกแจงตามปกติหรือเพียงแค่ตัวแปรตามเงื่อนไขให้กับตัวแปรอิสระ)

ฉันรู้ด้วยว่าเมื่อใช้การถดถอยแบบกระจายแบบกระจายซึ่งเป็นสิ่งที่ฉันคิดว่าฉันเสนอที่นี่และการใช้ OLS เพื่อประเมินค่าพารามิเตอร์ความหลากหลายทางหลายทางระหว่างตัวแปรอาจเกิดขึ้นอย่างชัดเจนดังนั้นการประมาณจึงผิด

ในโพสต์ที่คล้ายกันเกี่ยวกับ TS และ LRที่นี่ @IrishStat กล่าวว่า:

... แบบจำลองการถดถอยเป็นกรณีเฉพาะของ Transfer Function Model หรือที่รู้จักกันในชื่อรุ่นการถดถอยแบบไดนามิกหรือรุ่น XARMAX จุดสำคัญคือการระบุรูปแบบในอนุกรมเวลานั่นคือความแตกต่างที่เหมาะสมความล่าช้าที่เหมาะสมของ X โครงสร้าง ARIMA ที่เหมาะสมการระบุที่เหมาะสมของโครงสร้างที่ไม่ระบุรายละเอียดที่กำหนดเช่นพัลส์ระดับเลื่อนแนวโน้มเวลาท้องถิ่นฤดูกาลและการรวม บริษัท ของการเปลี่ยนแปลงในพารามิเตอร์หรือความแปรปรวนของข้อผิดพลาดจะต้องพิจารณา

(ฉันยังอ่านบทความของเขาใน Autobox เกี่ยวกับ Box Jenkins vs LR.) แต่นี่ยังไม่สามารถแก้ไขคำถามของฉัน (หรืออย่างน้อยก็ไม่ได้อธิบายกลไกที่แตกต่างกันของ RL และ TS ให้ฉัน)

เห็นได้ชัดว่าแม้มีตัวแปรที่ล้าหลังปัญหา OLS เกิดขึ้นและไม่มีประสิทธิภาพหรือถูกต้อง แต่เมื่อใช้โอกาสสูงสุดปัญหาเหล่านี้จะยังคงอยู่หรือไม่ ฉันได้อ่านแล้วว่า ARIMA ถูกประเมินโดยความน่าจะเป็นสูงสุดดังนั้นหาก LR กับ lags นั้นประมาณด้วย ML แทน OLS จะให้ค่าสัมประสิทธิ์ "ถูกต้อง" หรือไม่ (ให้สมมติว่าเรารวมเงื่อนไขข้อผิดพลาดที่ล้าหลังเช่น MA Q)

ในระยะสั้นปัญหา OLS คืออะไร? ปัญหานี้แก้ไขได้หรือไม่ที่ใช้ ML

เหตุใดจึงต้องสร้างวิธีการใหม่ทั้งหมดเช่นอนุกรมเวลา (ARIMA) แทนที่จะใช้การถดถอยเชิงเส้นหลายเส้นและการเพิ่มตัวแปรที่ล้าหลัง (โดยใช้คำสั่งล่าช้าที่กำหนดโดยใช้ ACF และ PACF)

จุดหนึ่งคือการถดถอยเชิงเส้นจะทำงานร่วมกับตัวแปรที่สังเกตได้เท่านั้นในขณะที่ ARIMA รวมเอาตัวแปรที่ไม่ได้ตรวจสอบไว้ในส่วนค่าเฉลี่ยเคลื่อนที่ ดังนั้น ARIMA จึงมีความยืดหยุ่นมากกว่าหรือทั่วไปกว่า แบบจำลอง AR สามารถถูกมองว่าเป็นแบบจำลองการถดถอยเชิงเส้นและสามารถประมาณค่าสัมประสิทธิ์ได้โดยใช้ OLS โดยที่ประกอบด้วย lags ของตัวแปรตามที่สังเกตได้ ในขณะเดียวกันโมเดล MA หรือ ARMA ไม่เหมาะกับเฟรมเวิร์ก OLS เนื่องจากตัวแปรบางตัว ได้แก่ เงื่อนไขข้อผิดพลาดที่ล้าหลังไม่ได้รับการตรวจสอบและด้วยเหตุนี้ตัวประเมิน OLS จึงไม่สามารถทำได้$\hat\beta_{OLS}=(X'X)^{-1}X'y$$X$

สมมติฐานหนึ่งของจีเอ็มคือตัวแปรอิสระควรกระจายตามปกติหรือไม่ หรือเพียงแค่ตัวแปรตามเงื่อนไขกับคนอิสระ?

บางครั้งการเรียกใช้ข้อสมมติเชิงบรรทัดฐานสำหรับข้อผิดพลาดของแบบจำลองไม่ใช่สำหรับตัวแปรอิสระ อย่างไรก็ตามความเป็นมาตรฐานนั้นไม่จำเป็นสำหรับความสอดคล้องและประสิทธิภาพของตัวประมาณ OLS และสำหรับทฤษฎี Gauss-Markov บทความ Wikipedia เกี่ยวกับทฤษฎีบท Gauss-Markov ระบุไว้อย่างชัดเจนว่า "ข้อผิดพลาดไม่จำเป็นต้องเป็นเรื่องปกติ"

ความสัมพันธ์ระหว่างตัวแปรอาจเกิดขึ้นอย่างชัดเจนดังนั้นการประมาณจึงผิด

ระดับสูงของความหลากสีหมายถึงความแปรปรวนที่สูงเกินจริงของตัวประมาณ OLS อย่างไรก็ตามเครื่องมือประมาณค่า OLS ยังคงเป็นสีน้ำเงินตราบใดที่ความหลากหลายทางสีไม่สมบูรณ์ ดังนั้นข้อความของคุณไม่ถูกต้อง

เห็นได้ชัดว่าแม้มีตัวแปรที่ล้าหลังปัญหา OLS เกิดขึ้นและไม่มีประสิทธิภาพหรือถูกต้อง แต่เมื่อใช้โอกาสสูงสุดปัญหาเหล่านี้จะยังคงอยู่หรือไม่

แบบจำลอง AR สามารถประมาณได้โดยใช้ทั้ง OLS และ ML ทั้งสองวิธีนี้ให้การประมาณที่สอดคล้องกัน OLS ไม่สามารถประมาณค่า MA และ ARMA ได้ดังนั้น ML จึงเป็นตัวเลือกหลัก อีกครั้งมันสอดคล้อง คุณสมบัติที่น่าสนใจอื่น ๆ คือประสิทธิภาพและที่นี่ฉันไม่แน่ใจอย่างสมบูรณ์ (แต่ชัดเจนว่าข้อมูลควรมีอยู่ที่ไหนสักแห่งเนื่องจากคำถามนั้นค่อนข้างมาตรฐาน) ฉันจะลองแสดงความคิดเห็นใน "ความถูกต้อง" แต่ฉันไม่แน่ใจว่าคุณหมายถึงอะไร

นั่นเป็นคำถามที่ดี ความแตกต่างที่แท้จริงระหว่างแบบจำลอง ARIMA และการถดถอยเชิงเส้นแบบหลายค่าอยู่ในโครงสร้างข้อผิดพลาดของคุณ คุณสามารถจัดการตัวแปรอิสระในรูปแบบการถดถอยเชิงเส้นหลายแบบเพื่อให้พอดีกับข้อมูลอนุกรมเวลาของคุณซึ่งเป็นสิ่งที่ @IrishStat พูด อย่างไรก็ตามหลังจากนั้นคุณต้องรวมข้อผิดพลาด ARIMA ลงในแบบจำลองการถดถอยหลายครั้งเพื่อรับค่าสัมประสิทธิ์และผลการทดสอบที่ถูกต้อง เป็นหนังสือที่ดีมากเกี่ยวกับเรื่องนี้คือ: https://www.otexts.org/fpp/9/1 ฉันได้เชื่อมโยงส่วนที่กล่าวถึงการรวม ARIMA และแบบจำลองการถดถอยหลายแบบ

เป็นคำถามที่ดีจริง ๆ แล้วฉันได้สร้างทั้งงานประจำวันของฉันในฐานะนักวิทยาศาสตร์ข้อมูล แบบจำลองอนุกรมเวลานั้นง่ายต่อการสร้าง (แพ็คเกจพยากรณ์ใน R ช่วยให้คุณสร้างได้ใน 5 วินาที) ที่เหมือนกันหรือแม่นยำกว่าตัวแบบการถดถอยเป็นต้นโดยทั่วไปแล้วหนึ่งแบบควรสร้างอนุกรมเวลาจากนั้นก็ถดถอย มีความหมายเชิงปรัชญาของอนุกรมเวลาเช่นกันหากคุณสามารถทำนายได้โดยไม่ต้องรู้อะไรเลยนั่นหมายความว่าอย่างไร

ฉันใช้ดาร์ลิงตัน 1) "การถดถอยมีความยืดหยุ่นและทรงพลังยิ่งกว่าเดิมสร้างแบบจำลองที่ดีกว่าจุดนี้ได้รับการพัฒนาในหลาย ๆ จุดตลอดการทำงาน"

ไม่ตรงกันข้ามเลยทีเดียว ตัวแบบการถดถอยสร้างสมมติฐานมากกว่าแบบจำลองอนุกรมเวลา สมมติฐานที่น้อยลงความสามารถในการทนต่อแผ่นดินไหว (การเปลี่ยนแปลงระบอบการปกครอง) มีโอกาสมากขึ้น นอกจากนี้โมเดลอนุกรมเวลายังตอบสนองต่อการเปลี่ยนแปลงกะทันหันได้เร็วขึ้น

2) "การถดถอยง่ายกว่าผู้เชี่ยวชาญอย่าง ARIMA อย่างน้อยสำหรับผู้ที่คุ้นเคยกับการใช้การถดถอยในด้านอื่น ๆ " นี่คือการใช้เหตุผลแบบวงกลม

3) "การถดถอยใช้อัลกอริธึมการคำนวณแบบ" ปิด "ซึ่งรับประกันได้ว่าจะให้ผลลัพธ์ถ้าเป็นไปได้ในขณะที่ ARIMA และวิธีการอื่น ๆ ใช้อัลกอริธึมแบบวนซ้ำที่มักจะล้มเหลวในการหาวิธีแก้ปัญหา "ข้อมูลที่ให้วิธีการถดถอยไม่มีปัญหา"

การถดถอยให้คำตอบกับคุณ แต่เป็นคำตอบที่ถูกหรือไม่ ถ้าฉันสร้างการถดถอยเชิงเส้นและโมเดลการเรียนรู้ของเครื่องและพวกเขาทั้งหมดก็มาถึงข้อสรุปเดียวกันมันหมายความว่าอะไร?

ดังนั้นโดยสรุปใช่การถดถอยและอนุกรมเวลาสามารถตอบคำถามเดียวกันและในทางเทคนิคอนุกรมเวลาคือการถดถอยทางเทคนิค (แม้ว่าการถดถอยอัตโนมัติ) แบบจำลองอนุกรมเวลามีความซับซ้อนน้อยกว่าและมีความแข็งแกร่งกว่าแบบจำลองการถดถอย หากคุณคิดถึงความเชี่ยวชาญเฉพาะด้าน TS model นั้นเชี่ยวชาญในการพยากรณ์ในขณะที่การถดถอยมีความเชี่ยวชาญในการทำความเข้าใจ มันเดือดลงไปไม่ว่าคุณต้องการอธิบายหรือทำนาย

ในการคิดว่าความแตกต่างที่ลึกที่สุดระหว่างฟังก์ชั่นการถ่ายโอนและการถดถอยเชิงเส้นแบบหลายจุด (ในการใช้งานตามปกติ) อยู่ในวัตถุประสงค์ของพวกเขาการถดถอยแบบหลายจุดมุ่งเน้นเพื่อค้นหาปัจจัยที่สังเกตได้หลักของตัวแปรตาม ตัวแปรของการเปลี่ยนแปลงของตัวแปรภายนอกที่เฉพาะเจาะจง ... โดยสรุปการถดถอยหลายครั้งจะมุ่งเน้นไปที่คำอธิบายที่ครบถ้วนสมบูรณ์และฟังก์ชั่นการถ่ายโอนไปยังการคาดการณ์ผลกระทบที่เฉพาะเจาะจงมาก ...