การตรวจสอบความถูกต้องข้าม (CV) และสถิติการตรวจสอบความถูกต้องข้ามทั่วไป (GCV)

ฉันได้พบอาจจะขัดแย้งกันคำจำกัดความของการตรวจสอบ (CV) สถิติข้ามและสำหรับการตรวจสอบข้ามทั่วไป (GCV) สถิติที่เกี่ยวข้องกับโมเดลเชิงเส้นตรง $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ (กับปกติเวกเตอร์ข้อผิดพลาด homoscedastic $\boldsymbol\varepsilon$ )

ในอีกด้านหนึ่ง Golub, Heath & Wahba กำหนด GCV ประมาณการ $\hat{\lambda}$ เป็น (หน้า 216)

ตัวย่อของ $V\left(\lambda\right)$ โดย
$V (λ) = \frac{\frac{1}{n} {‖ (I - A (λ)) y ‖}^{2}}{{(\frac{1}{n} t r (I - A (λ)))}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ โดยที่ $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

ในทางตรงกันข้าม Efron กำหนดแนวความคิดเดียวกับ $V\left(0\right)$ (หน้า 24) แต่เขาแนะนำคุณลักษณะของแนวคิดนี้เพื่อ Craven & Wahba ที่นิยาม (หน้า 377) เป็นหลักเดียวกัน ดังที่ Golub, Heath & Wahba ที่กล่าวถึงคำนิยามข้างต้น

นี่หมายความว่า $0$ ย่อขนาด $V\left(\lambda\right)$ หรือไม่?

ในทำนองเดียวกัน Golub, Heath & Wahba กำหนดประมาณการ CV ของ $\lambda$ (หน้า 217) เป็น minimizer ของ

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

โดยที่ $\beta^{\left(k\right)}\left(\lambda\right)$ คือค่าประมาณ

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

of $\beta$ มีจุดข้อมูล $k$ ที่ $y_i$ ถูกละไว้

ผู้เขียนคุณลักษณะการแนะนำของการประมาณการ CV (หรือเรียกว่าการประมาณการ PRESS) เพื่ออัลเลน ("อัลเลน PRESS", อ้างแล้ว) แต่ในกระดาษของอัลเลน, การประมาณการ PRESS จะถูกกำหนด (หน้า 126) เป็น $n P\left(0\right)$ (ในบทความของ Efron มันถูกกำหนดเป็น $P\left(0\right)$ (หน้า 24))

อีกครั้งนี่หมายความว่า $0$ ลดขนาด $P\left(\lambda\right)$ หรือไม่

Allen, David M. ความสัมพันธ์ระหว่างการเลือกตัวแปรและการรวบรวมข้อมูลและวิธีการทำนาย Technometrics, Vol. 16, ฉบับที่ 1 (กุมภาพันธ์ 2517), หน้า 125-127
ขี้ขลาดปีเตอร์และ Wahba เกรซ ปรับข้อมูลที่มีเสียงดังให้เรียบด้วยฟังก์ชัน Spline Numerische Mathematik 31, (1979), pp. 377-403
Efron, Bradley อัตราความผิดพลาดที่ชัดเจนของการถดถอยโลจิสติกอย่างไร รายงานทางเทคนิค 232. ภาควิชาสถิติมหาวิทยาลัยสแตนฟอร์ด (เมษายน 2528)
Golub, Gene H. , Heath และ Grace Wahba การตรวจสอบความถูกต้องข้ามทั่วไปเป็นวิธีการเลือกพารามิเตอร์สันเขาที่ดี Technometrics, Vol. 21, ฉบับที่ 2 (พฤษภาคม, 1979), หน้า 215-223

cross-validation

— อีวานอ๊าด
แหล่งที่มา

คุณลืมที่จะพูดถึงว่าสิ่งนี้จะเหมาะกับการถดถอยของสันเขาและไม่ได้กำลังสองน้อยที่สุด? ฉันสับสนโดยสิ้นเชิงเกี่ยวกับสิ่งที่จนกระทั่งฉันเห็นชื่อกระดาษที่ด้านล่าง

λ

$\lambda$

— shadowtalker

ลบการตรวจสอบความถูกต้องไขว้ทั่วไปในชื่อและเพิ่มริดจ์การถดถอยในชื่อเรื่อง นี่คือสิ่งที่ GridSearchCV () เริ่มต้นสำหรับ RidgeCV ():

— HoofarLotusX

ฉันเชื่อว่าความคิดเห็นกำลังชี้ไปที่คำตอบ แต่ไม่ได้ระบุว่าตรงไปตรงมา ดังนั้นฉันจะทื่อ

สูตร V ที่อ้างถึงที่นี่มีความเฉพาะเจาะจงกับการถดถอยเชิงเส้นตรง พวกเขาไม่ได้บอกว่ามันเหมือนกับ PRESS แต่พวกเขาบอกว่ามันเป็นเวอร์ชั่นที่ไม่แปรเปลี่ยนของ PRESS ส่วน "การหมุนคงที่" เป็นสิ่งที่ทำให้สิ่งนี้เป็นแบบทั่วไป

กระดาษของ Efron นั้นเกี่ยวกับการถดถอยโลจิสติกส์ซึ่งปรับให้เหมาะสมกับบริบทนั้น หากคุณต้องการดูการแปลทางคณิตศาสตร์ระหว่างสองบริบทหนังสือที่ถูกต้องในการอ่านคือองค์ประกอบของการเรียนรู้ทางสถิติ, 2ed, โดย Hastie, Tibshirani และ Freedman พวกเขาเสนอว่าหนังสือเล่มฟรีออนไลน์: https://web.stanford.edu/~hastie/Papers/ESLII.pdf การอ่านที่เป็นประโยชน์เกี่ยวกับ GCV ก็คือโมเดลเสริมทั่วไปโดย Simon Wood การรักษาของเขารวม GCV โดยทั่วไปกับการใช้งานในการถดถอยและการถดถอยโลจิสติก

หากคุณดูหนังสือ ESL หน้า 244 คุณจะเห็นสัญลักษณ์เดียวกันโดยทั่วไป พวกเขาอ้างถึงผลิตภัณฑ์เมทริกซ์ขนาดใหญ่ที่คุณมีเป็นเมทริกซ์ Smoother (ฉันว่ามันเป็นเมทริกซ์ Hat หรือลูกพี่ลูกน้องใกล้) พวกเขาอธิบาย Smootherว่าเป็นแผนที่จากไปยัง $S$ $y$ $\hat{y}$

\hat{y} = S y

$\hat{y}=S y$

$S$ สามารถใช้ในการคำนวณค่า CV ทิ้งไว้หนึ่งค่าสำหรับแต่ละแถวในข้อมูล สำหรับรูปแบบเชิงเส้นที่เมทริกซ์มีบทบาทของเมทริกซ์หมวกในการตรวจวินิจฉัยการถดถอย อย่างไรก็ตามพวกเขาบอกว่ามันอาจจะเป็นการท้าทายหรือไม่จำเป็นในการคำนวณและวิธีการของ GCV เป็นแนวคิดเดียวกันที่มีอยู่ทั่วไปมากกว่าเล็กน้อย $S$

พวกเขาเสนอสูตรสำหรับการประมาณของ GCV:

G C V (\hat{f}) = \frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i} - \hat{f} (x_{i})}{1 - t r a c e (S) / N}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

นี่เป็นพฤติกรรมที่คล้ายคลึงกับ AIC ในหลายรุ่น การคือจำนวนพารามิเตอร์ที่มีประสิทธิภาพ $trace{S}$

ชิ้นที่คุณพูดมากขึ้นโดยทั่วไปเป็นร่องรอยของSเท่าที่ฉันสามารถเข้าใจในนามธรรม GCV เป็นรุ่นโดยประมาณของการออก crossvalidation หนึ่ง แต่ในบางกรณี (ฉันเชื่อว่าการถดถอยสัน) มันเป็นที่แน่นอน นั่นคือประเด็นหลักในกระดาษ Golub $n\lambda$ $S$

โชคดีเขียนกลับถ้าคุณเรียนรู้เพิ่มเติม

— pauljohn32
แหล่งที่มา

ขอบคุณ ฉันโพสต์คำถามของฉันเมื่อ 5 ปีที่แล้วและตั้งแต่นั้นฉันก็ลืมเนื้อหาส่วนใหญ่ไปแล้วดังนั้นฉันจึงไม่สามารถประเมินคำตอบของคุณเพื่อบอกได้ว่ามันดี (ซึ่งดูเหมือนจะเป็น) หรือไม่ดีและด้วยเหตุผลนี้ ฉันไม่สามารถยอมรับได้ ขอบคุณสำหรับการโพสต์ หวังว่ามันจะมีประโยชน์สำหรับคนอื่น ๆ ที่อาจเจอหน้านี้

— Evan Aad