วิธีการคำนวณพารามิเตอร์การทำให้เป็นมาตรฐานในการถดถอยริดจ์ที่กำหนดองศาอิสระและเมทริกซ์อินพุต?

11

ให้ A เป็น matrix ของตัวแปรอิสระและ B เป็น matrix ที่สอดคล้องกันของค่าที่ขึ้นต่อกัน ในการถดถอยสันเขาเรากำหนดพารามิเตอร์เพื่อให้: B ตอนนี้ให้ [usv] = svd (A) และรายการแนวทแยงมุมของ 's' เรากำหนดองศาอิสระ (DF) =แลมบ์ดา} การถดถอยของริดจ์ลดขนาดของค่าสัมประสิทธิ์ของส่วนประกอบความแปรปรวนต่ำดังนั้นพารามิเตอร์จะควบคุมองศาอิสระดังนั้นสำหรับ $n \times p$ $n \times 1$ $\lambda$ $\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$ $d_{i}=i^{th}$ $\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$ $\lambda$ $\lambda=0$ ซึ่งเป็นกรณีของการถดถอยปกติ df = n และดังนั้นตัวแปรอิสระทั้งหมดจะถูกพิจารณา ปัญหาที่ฉันเผชิญคือการหาค่าของได้รับ 'df' และเมทริกซ์ 's' ฉันพยายามจัดเรียงสมการใหม่อีกครั้ง แต่ไม่ได้รับการแก้ปัญหาแบบปิด โปรดระบุพอยน์เตอร์ที่เป็นประโยชน์ใด ๆ $\lambda$

ridge-regression

— Amit
แหล่งที่มา

ดีฉันจำเป็นต้องใช้เวลาในการตอบคำถามนี้ (คนอื่น ๆ อาจจะได้เร็วขึ้นเพื่อช่วยให้คุณ) แต่ข้อมูลเชิงลึกมากที่สุดอาจจะนำมาจากstat.lsa.umich.edu/~kshedden/Courses/Stat600/Notes/...และสิ่งที่ในความหมายของ ดีกรีอิสระเนื่องจากฉันคิดถึงอย่างใด

k

$k$

λ

$\lambda$

— Dmitrij Celov

@Dmitrij: ขอบคุณสำหรับการตอบกลับฉันได้อัปเดตคำถามและแทนที่ 'k' ด้วย

λ

$\lambda$

— Amit

สวัสดี Amit คุณจะรู้ได้อย่างไรว่าองศาอิสระคืออะไรก่อนการคำนวณพารามิเตอร์การทำให้เป็นมาตรฐาน

— Baz

9

อัลกอริทึมของ Newton-Raphson / Fisher-score / Taylor-series จะเหมาะสมกับสิ่งนี้

คุณมีสมการที่แก้สำหรับ มีอนุพันธ์ จากนั้นคุณจะได้รับ: $\lambda$

h (λ) = \sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} - d f = 0

$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$

\frac{\partial h}{\partial λ} = - \sum_{i = 1}^{p} \frac{d_{i}^{2}}{(d_{i}^{2} + λ)^{2}}

$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$

h (λ) \approx h (λ^{(0)}) + (λ - λ^{(0)}) \frac{\partial h}{\partial λ} |_{λ = λ^{(0)}} = 0

$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$

จัดใหม่สำหรับคุณได้รับ: นี่เป็นการตั้งค่าการค้นหาซ้ำ สำหรับค่าเริ่มต้นเริ่มต้นสมมติในผลบวกแล้วคุณจะได้รับ{} $\lambda$

λ = λ^{(0)} - {[\frac{\partial h}{\partial λ} |_{λ = λ^{(0)}}]}^{- 1} h (λ^{(0)})

$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$

d_{i}^{2} = 1

$d^{2}_{i}=1$

λ^{(0)} = \frac{p - d f}{d f}

$\lambda^{(0)}=\frac{p-df}{df}$

λ^{(j + 1)} = λ^{(j)} + {[\sum_{i = 1}^{p} \frac{d_{i}^{2}}{(d_{i}^{2} + λ^{(j)})^{2}}]}^{- 1} [\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ^{(j)}} - d f]

$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$

"ไป" ในทิศทางที่ถูกต้อง (เพิ่มเมื่อผลรวมมีขนาดใหญ่เกินไปลดลงเมื่อเล็กเกินไป) และโดยทั่วไปใช้เวลาเพียงไม่กี่ครั้งในการแก้ปัญหา ฟังก์ชั่นเพิ่มเติมคือเสียงโมโนโทนิก (การเพิ่ม / ลดในจะลด / เพิ่มผลรวมเสมอ) ดังนั้นมันจะมาบรรจบกันโดยไม่ซ้ำกัน (ไม่มี maxima ท้องถิ่น) $\lambda$ $\lambda$

— probabilityislogic
แหล่งที่มา

ขอบคุณมาก แต่ฉันมีข้อสงสัยว่าทำไมเราต้องถือว่าเนื่องจากเรามีค่าที่ถูกต้องแล้ว ... ฉันตรวจสอบสูตรนี้ด้วยการเขียนโค้ด matlab และไม่ได้สันนิษฐานว่า แต่มันใช้งานได้ดีและให้ทางออกที่ถูกต้อง

d_{i}^{2} = 1

$d_{i}^2=1$

— Amit

สมมติฐานคือการรับค่าเริ่มต้นของ "ใกล้พอ" ถึงค่าที่ถูกต้อง หากคุณมีการคาดเดาที่ดีกว่าให้เริ่มจากตรงนั้น คุณสามารถตั้งค่าตราบใดที่ค่าของคุณมากกว่าศูนย์ d จะไม่ถือว่า 1 ในการวนซ้ำเพียงเพื่อให้ได้อัลกอริทึมเริ่มต้น

λ^{(0)}

$\lambda^{(0)}$

λ^{(0)} = 0

$\lambda^{(0)}=0$

— ความน่าจะเป็นทาง

(+1) ฉันจะให้วิธีแก้ปัญหาเชิงตัวเลขแบบเดียวกันอยู่ดี

— Dmitrij Celov

6

นี่คือรหัส Matlab ขนาดเล็กตามสูตรที่พิสูจน์โดยความน่าจะเป็น:

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end

— Amit
แหล่งที่มา

2

ไปเป็นทีม!

— ความน่าจะเป็นทางการ

while ( abs(diff)>threshold )บรรณาธิการพยายามระบุว่าสภาพในขณะที่ควรจะเป็น

— gung - Reinstate Monica

ฉันกำลังโพสต์ข้อความนี้เป็นคำตอบอื่นสำหรับรหัสที่โพสต์โดย @Amit ฉันขอแนะนำให้เปรียบเทียบการเกณฑ์ในwhile( abs(diff) > threshold )เพราะความอดทนสำหรับความแตกต่างควรสามารถเข้าถึงได้จากทั้งด้านซ้ายและด้านขวา ตัวอย่างเช่นสมมติ diff =และ threshold =

- 100

$-100$

1 e^{- 16}

$1e^{-16}$