Recursive (ออนไลน์) อัลกอริธึมกำลังสองน้อยที่สุดที่ทำให้เป็นมาตรฐาน

12

ทุกคนสามารถชี้นำฉันไปในทิศทางของอัลกอริทึมแบบออนไลน์ (แบบเรียกซ้ำ) สำหรับการทำให้เป็นมาตรฐาน Tikhonov (กำลังสองน้อยที่สุดเป็นมาตรฐาน) ได้หรือไม่?

ในการตั้งค่าออฟไลน์ฉันจะคำนวณ $\hat\beta=(X^TX+λI)^{−1}X^TY$ โดยใช้ชุดข้อมูลดั้งเดิมของฉันซึ่งพบ $λ$ โดยใช้การตรวจสอบความถูกต้องแบบครอส n-fold ใหม่ $y$ ค่าสามารถคาดการณ์ไว้สำหรับให้ $x$ ใช้การ y $y=x^T\hat\beta$

ในการตั้งค่าออนไลน์ฉันจะวาดจุดข้อมูลใหม่อย่างต่อเนื่อง ฉันจะอัปเดต $\hat\beta$ เมื่อฉันดึงตัวอย่างข้อมูลเพิ่มเติมใหม่โดยไม่ทำการคำนวณใหม่ทั้งหมดในชุดข้อมูลทั้งหมด (ต้นฉบับ + ใหม่)

— rnoodle
แหล่งที่มา

1

สี่เหลี่ยมจัตุรัสที่น้อยที่สุดของ Tikhonov ที่ทำให้เป็นปกติอาจเรียกอีกอย่างว่าLevenberg-Marquardtในแวดวงสถิติแม้จะใช้กับปัญหาเชิงเส้นล้วนๆ (ดังที่นี่) มีกระดาษเกี่ยวกับออนไลน์ Levenberg Marquardt เป็นที่นี่ ฉันไม่ทราบว่าเป็นความช่วยเหลือใด ๆ

— Glen_b -Reinstate Monica

11

$\hat\beta_n=(XX^T+λI)^{−1} \sum\limits_{i=0}^{n-1} x_iy_i$

ให้ $M_n^{-1} = (XX^T+λI)^{−1}$ จากนั้น

$\hat\beta_{n+1}=M_{n+1}^{−1} (\sum\limits_{i=0}^{n-1} x_iy_i + x_ny_n)$ และ

$M_{n+1} - M_n = x_nx_n^T$ เราจะได้รับ

$\hat\beta_{n+1}=\hat\beta_{n}+M_{n+1}^{−1} x_n(y_n - x_n^T\hat\beta_{n})$

ตามสูตรของ Woodburyเรามี

$M_{n+1}^{-1} = M_{n}^{-1} - \frac{M_{n}^{-1}x_nx_n^TM_{n}^{-1}}{(1+x_n^TM_n^{-1}x_n)}$

ผลที่ตามมา,

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n} x_n(y_n - x_n^T\hat\beta_{n})$

ค่าเฉลี่ยของ Polyakบ่งบอกว่าคุณสามารถใช้ เพื่อประมาณด้วยช่วงจากเพื่อ1คุณอาจลองในกรณีของคุณเพื่อเลือกดีที่สุดสำหรับการสอบถามซ้ำ $\eta_n = n^{-\alpha}$ $\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n}$ $\alpha$ $0.5$ $1$ $\alpha$

ฉันคิดว่ามันใช้งานได้เช่นกันหากคุณใช้อัลกอริธึมการไล่ระดับแบทช์:

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{\eta_n}{n} \sum\limits_{i=0}^{n-1}x_i(y_i - x_i^T\hat\beta_{n})$

— lennon310
แหล่งที่มา

จะเกิดอะไรขึ้นถ้าฉันอัปเดต regressor ของฉันทุกครั้งด้วยชุดตัวอย่างของข้อมูลใหม่ที่แต่ละชุดที่ต่อเนื่องมาจากการกระจายที่แตกต่างกันเล็กน้อย เช่น IID ที่ไม่ใช่ ในกรณีนี้ฉันต้องการให้ regressor คำนึงถึงข้อมูลใหม่ แต่ไม่ส่งผลกระทบต่อการคาดการณ์ในท้องถิ่นของข้อมูลเก่า (แบตช์ก่อนหน้า) หรือไม่ คุณช่วยชี้ให้ฉันดูวรรณกรรมที่คุณอาจรู้สึกว่ามีประโยชน์หรือไม่

— rnoodle

เป็นคำถามที่ดี แต่ขออภัยในขณะนี้ฉันไม่สามารถบอกได้ว่ามันจะส่งผลกระทบต่อแบบจำลองของคุณมากแค่ไหนหากคุณยังคงใช้สูตรไล่ระดับแบตช์ในคำตอบหรือประมาณด้วยการใช้แบบฟอร์มเมทริกซ์โดยตรง: eta ^ (- alpha) * X (Y-X 'beta_n) โดยที่ X, Y เป็นตัวอย่างแบทช์ใหม่ของคุณ

— lennon310

สวัสดีดูเหมือนว่าสัมประสิทธิ์การทำให้เป็นมาตรฐานไม่ได้มีส่วนร่วมในสูตรการอัพเดทซ้ำ? หรือมันมีความสำคัญในการเริ่มต้นของการผกผันของ M matrix?

— Peng Zhao

4

จุดที่ไม่มีใครพูดถึงก็คือโดยทั่วไปแล้วมันไม่สมเหตุสมผลที่จะรักษาพารามิเตอร์การทำให้เป็นมาตรฐานคงที่เมื่อมีการเพิ่มจุดข้อมูล เหตุผลนี้คือโดยปกติแล้วจะเติบโตเป็นเส้นตรงตามจำนวนจุดข้อมูลในขณะที่คำศัพท์ทั่วไปจะไม่ $\lambda$ $\| X \beta -y \|^{2}$ $\| \lambda\beta \|^{2}$

— Brian Borchers
แหล่งที่มา

นั่นเป็นจุดที่น่าสนใจ แต่ทำไม "ไม่สมเหตุสมผล" ทำไม? การรักษาค่าคงที่นั้นถูกต้องทางคณิตศาสตร์ดังนั้นจึงต้องเข้าใจ "ไม่สมเหตุสมผล" ในบริบททางสถิติบางประเภท แต่บริบทอะไร เกิดอะไรขึ้น จะมีการแก้ไขที่ง่าย ๆ บ้างไหมเช่นการแทนที่ผลบวกของกำลังสองด้วยค่าเฉลี่ยกำลังสอง

λ

$\lambda$

— whuber

การแทนที่ผลรวมของช่องสี่เหลี่ยมด้วยเวอร์ชันที่ปรับขนาด (เช่นข้อผิดพลาดกำลังสองเฉลี่ย) จะสมเหตุสมผล

— Brian Borchers

สำหรับสิ่งที่ผิดพลาดขึ้นอยู่กับการเลือกของคุณจะได้รับการแก้ปัญหาที่ไม่สม่ำเสมอโดยมีจุดข้อมูลจำนวนมากหรือการแก้ปัญหาที่ผิดปกติมากด้วยจุดข้อมูลจำนวนน้อย

λ

$\lambda$

— Brian Borchers

หนึ่งจะสงสัยว่า แต่ถ้าจะถูกปรับครั้งแรกหลังจากที่ได้รับจุดข้อมูลแล้วจุดข้อมูลที่มีการเพิ่มไม่ว่าจะแก้ปัญหาที่เกิดขึ้นกับจุดข้อมูลมากขึ้นและเดียวกันมีเกินหรือต่ำกว่า regularized จะขึ้นอยู่กับผู้ที่ใหม่ จุดข้อมูล. นี้สามารถวิเคราะห์โดยสมมติ datapoints ทำหน้าที่เหมือนตัวอย่าง IID จากการกระจายหลายตัวแปรซึ่งในกรณีนี้ก็จะปรากฏขึ้นควรจะกำหนดให้ในขั้นตอนNสิ่งนี้จะเปลี่ยนสูตรการอัพเดต แต่ในวิธีปกติและเรียบง่ายเช่นนั้นการคำนวณที่มีประสิทธิภาพอาจยังคงเป็นไปได้ (+1)

λ

$\lambda$

n

$n$

λ

$\lambda$

λ

$\lambda$

N / n

$N/n$

N

$N$

— whuber

3

บางทีบางอย่างเช่นการไล่ระดับสีแบบ Stochasticสามารถทำงานได้ที่นี่ คำนวณโดยใช้สมการของคุณด้านบนชุดข้อมูลเริ่มต้นนั่นคือการประมาณการเริ่มต้นของคุณ สำหรับจุดข้อมูลใหม่แต่ละจุดคุณสามารถดำเนินการหนึ่งขั้นตอนในการไล่ระดับสีแบบไล่ระดับเพื่ออัปเดตการประมาณพารามิเตอร์ของคุณ $\hat{\beta}$

— Max S
แหล่งที่มา

ฉันได้ตระหนักตั้งแต่นั้นมาว่า SGD (อาจจะเป็นมินิบัส) เป็นวิธีที่จะแก้ไขปัญหาออนไลน์เช่นนี้คือการปรับปรุงฟังก์ชั่นการประมาณ

— rnoodle

1

ในการถดถอยเชิงเส้นหนึ่งเป็นไปได้มีการปรับปรุง QR สลายของโดยตรงตามที่อธิบายไว้ที่นี่ ฉันเดาว่าถ้าคุณไม่ต้องการประมาณอีกครั้งหลังจากเพิ่มดาต้าพอยท์ใหม่แต่ละอย่างแล้วสิ่งที่คล้ายกันมากก็สามารถทำได้ด้วยการถดถอยของสันเขา $X$ $\lambda$

— มัตเตโอฟาซิโอ
แหล่งที่มา

0

นี่คือวิธีการอื่น (และซับซ้อนน้อยกว่า) เปรียบเทียบกับการใช้สูตร Woodbury โปรดทราบว่าและสามารถเขียนเป็นเงินก้อน เนื่องจากเรากำลังคำนวณสิ่งต่าง ๆ ออนไลน์และไม่ต้องการให้ผลรวมระเบิดเราสามารถเลือกใช้วิธีการ (และ ) $X^TX$ $X^Ty$ $X^TX/n$ $X^Ty/n$

หากคุณเขียนและเป็น: $X$ $y$

X = (\begin{matrix} x_{1}^{T} \\ ⋮ \\ x_{n}^{T} \end{matrix}), y = (\begin{matrix} y_{1} \\ ⋮ \\ y_{n} \end{matrix}),

$X = \begin{pmatrix} x_1^T \\ \vdots \\ x_n^T \end{pmatrix}, \quad y = \begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},$

เราสามารถเขียนอัพเดตออนไลน์ไปที่และ (คำนวณได้ถึงแถว -th) ดังนี้: $X^TX/n$ $X^Ty/n$ $t$

A_{t} = (1 - \frac{1}{t}) A_{t - 1} + \frac{1}{t} x_{t} x_{t}^{T},

$A_t = \left(1 - \frac{1}{t}\right) A_{t-1} + \frac{1}{t}x_t x_t^T,$

b_{t} = (1 - \frac{1}{t}) b_{t - 1} + \frac{1}{t} x_{t} y_{t} .

$b_t = \left(1 - \frac{1}{t}\right) b_{t-1} + \frac{1}{t}x_t y_t.$

การประมาณออนไลน์ของคุณจะกลายเป็น $\beta$

{\hat{β}}_{t} = (A_{t} + λ I)^{- 1} b_{t} .

$\hat\beta_t = (A_t + \lambda I)^{-1}b_t.$

โปรดทราบว่าสิ่งนี้ยังช่วยในการตีความค่าคงที่ในขณะที่คุณเพิ่มการสังเกต! $\lambda$

ขั้นตอนนี้เป็นวิธีที่https://github.com/joshday/OnlineStats.jlคำนวณการประมาณการออนไลน์ของการถดถอยเชิงเส้น / แนว

— joshday
แหล่งที่มา