แปลปัญหาการเรียนรู้ของเครื่องเป็นกรอบการถดถอย

12

สมมติว่าฉันมีแผงของการอธิบายตัวแปรสำหรับ , เช่นเดียวกับเวกเตอร์ของตัวแปรตามผลไบนารีทีดังนั้นจะสังเกตได้เฉพาะในครั้งสุดท้ายและไม่ใช่ก่อนหน้านี้ กรณีทั่วไปอย่างสมบูรณ์คือการมีหลายสำหรับสำหรับแต่ละหน่วยในแต่ละครั้ง $X_{it}$ $i = 1 ... N$ $t = 1 ... T$ $Y_{iT}$ $Y$ $T$ $X_{ijt}$ $j=1...K$ $i$ $t$ แต่ขอเน้นที่กรณีเพื่อความกระชับ $K=1$

การใช้งานของคู่ "ไม่สมดุล" มีตัวแปรอธิบายความสัมพันธ์ชั่วคราวเช่น (ราคาหุ้นรายวันเงินปันผลรายไตรมาส), (รายงานสภาพอากาศรายวัน, พายุเฮอริเคนรายปี) หรือ (คุณสมบัติตำแหน่งหมากรุกหลังจากย้ายแต่ละครั้ง จุดจบของเกม) $(X, Y)$

ฉันสนใจใน (อาจจะไม่เชิงเส้น) การถดถอยค่าสัมประสิทธิ์สำหรับการทำคำทำนายของรู้ว่าในข้อมูลการฝึกอบรมที่ได้รับการสังเกตต้นของสำหรับจะนำไปสู่ผลสุดท้าย $\beta_t$ $Y_{it}$ $X_{it}$ $t < T$ $Y_{iT}$

$\hat{Y}_{it} = f(\sum_{k=1}^{t} X_{ik} \beta_k), \quad t = 1 ... T$

มาจากภูมิหลังทางเศรษฐศาสตร์ฉันไม่ได้เห็นตัวแบบการถดถอยจำนวนมากนำไปใช้กับข้อมูลดังกล่าว OTOH ฉันเห็นเทคนิคการเรียนรู้ของเครื่องต่อไปนี้ถูกนำไปใช้กับข้อมูลดังกล่าว:

การเรียนรู้แบบมีผู้สอนในชุดข้อมูลทั้งหมดเช่นการย่อขนาด

$\sum_{i,t}\frac{1}{2}(Y_{it} - f(X_{it} \beta_t))^2$

โดยการประมาณค่า /การใส่ค่าสังเกตไปยังจุดก่อนหน้าทั้งหมดในเวลา $Y$

$Y_{it} \equiv Y_{iT}, \quad t = 1... T-1$

สิ่งนี้ให้ความรู้สึก "ผิด" เพราะจะไม่คำนึงถึงความสัมพันธ์ทางโลกระหว่างจุดต่าง ๆ ในเวลา

ทำเสริมแรงการเรียนรู้เช่นขมับแตกต่างกับการเรียนรู้พารามิเตอร์และพารามิเตอร์ส่วนลดและซ้ำแก้ผ่านกลับมาขยายพันธุ์เริ่มต้นจาก $\alpha$ $\lambda$ $\beta_t$ $t=T$

$\Delta \beta_{t} = \alpha (\hat{Y}_{t+1} - \hat{Y}_{t}) \sum_{k=1}^{t} \lambda^{t-k} \nabla_{\beta} \hat{Y}_{k}$

กับลาดของด้วยความเคารพβ $\nabla_{\beta} \hat{Y}$ $f()$ $\beta$

สิ่งนี้ดูเหมือนว่า "ถูกต้อง" มากกว่าเพราะคำนึงถึงโครงสร้างทางโลก แต่พารามิเตอร์และเป็นชนิดของ "เฉพาะกิจ" $\alpha$ $\lambda$

คำถาม : มีวรรณกรรมเกี่ยวกับวิธีการแมปเทคนิคการเรียนรู้ที่ได้รับการดูแล / เสริมกำลังไว้ในกรอบการถดถอยตามที่ใช้ในสถิติ / เศรษฐมิติแบบดั้งเดิมหรือไม่? โดยเฉพาะอย่างยิ่งผมอยากที่จะสามารถประมาณค่าพารามิเตอร์ใน "หนึ่งไป" (กล่าวคือสำหรับทุกพร้อมกัน) โดยการทำ (ที่ไม่ใช่เชิงเส้น) อย่างน้อยสี่เหลี่ยมหรือโอกาสสูงสุดในรูปแบบดังกล่าว เช่น $\beta_{t}$ $t=1...T$

$Y_{iT} = f(\sum_{t=1}^T X_{it} \beta_{t}) + \epsilon_{i}$

ฉันยังสนใจที่จะเรียนรู้ว่าการเรียนรู้ meta-parameters และพารามิเตอร์สามารถกู้คืนได้จากการกำหนดความเป็นไปได้สูงสุดหรือไม่ $\alpha$ $\lambda$

regression machine-learning reinforcement-learning

— TemplateRex
แหล่งที่มา

Y_{i T}

$Y_{iT}$

X_{i t}

$X_{it}$

t < T

$t < T$

Y_{i t}

$Y_{it}$

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

X_{i t}

$X_{it}$

{\hat{Y}}_{i t}

$\hat{Y}_{it}$

X_{i t}

$X_{it}$

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

t

$t$

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

Y_{T}

$Y_T$

X_{1}, \dots, X_{t}

$X_1,\dots,X_t$

Y_{i t}

$Y_{it}$

X_{i t}

$X_{it}$

Y_{i T}

$Y_{iT}$

X_{i t}

$X_{it}$

1

คำอธิบายของปัญหาไม่ชัดเจนสำหรับฉันดังนั้นฉันจึงพยายามเดาสมมติฐานบางอย่าง หากสิ่งนี้ไม่ตอบคำถามของคุณอย่างน้อยก็อาจช่วยชี้แจงปัญหาเพิ่มเติมได้

$Y_T$ $t<T$ $X_\tau$ $\tau>t$

$Y_t$ $X_1,\ldots, X_t$ $t<T$ $Y_t=\text{E}[Y_T \mid X_1,\ldots, X_t]$ $Y_T$

$X_1, \ldots, X_t$ $t$

$t<T$

— GG
แหล่งที่มา

X_{i t}

$X_{it}$

Y_{i T}

$Y_{iT}$

{\hat{Y}}_{i t}

$\hat{Y}_{it}$

Y_{i T}

$Y_{iT}$

0

$\alpha$
$\gamma$ $\gamma=1$

— nsweeney
แหล่งที่มา

α

$\alpha$

γ

$\gamma$

α

$\alpha$

γ

$\gamma$