ประสิทธิภาพการถดถอยของเคอร์เนลเคอร์เนล

การถดถอยของสันสามารถแสดงเป็น

\hat{y} = (X^{'} X + a I_{d})^{- 1} X x

$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$ ที่ไหน

\hat{y}

$\hat{y}$ เป็นป้ายที่คาดการณ์ระบุเมทริกซ์วัตถุที่เรากำลังพยายามที่จะหาฉลากและเมทริกซ์ของวัตถุเช่นนั้น:

I_{d}

$\mathbf{I}_d$

d \times d

$d \times d$

x

$\mathbf{x}$

X

$\mathbf{X}$

n \times d

$n \times d$

n

$n$

x_{i} = (x_{i, 1}, . . ., x_{i, d}) \in R^{d}

$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

X = (\begin{matrix} x_{1, 1} & x_{1, 2} & \dots & x_{1, d} \\ x_{2, 1} & x_{2, 2} & \dots & x_{2, d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n, 1} & x_{1, 2} & \dots & x_{n, d} \end{matrix})

$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$

เราสามารถสร้างเคอร์เนลได้ดังนี้:

\hat{y} = (K + a I_{d})^{- 1} k

$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$

โดยที่คือเมทริกซ์ของเคอร์เนลฟังก์ชัน $\mathbf{\mathcal{K}}$ $n \times n$ $K$

K = (\begin{matrix} K (x_{1}, x_{1}) & K (x_{1}, x_{2}) & \dots & K (x_{1}, x_{n}) \\ K (x_{2}, x_{1}) & K (x_{2}, x_{2}) & \dots & K (x_{2}, x_{n}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ K (x_{n}, x_{1}) & K (x_{n}, x_{2}) & \dots & K (x_{n}, x_{n}) \end{matrix})

$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$

และเวกเตอร์คอลัมน์ของฟังก์ชันเคอร์เนล $\mathbf{k}$ $n \times 1$ $K$

k = (\begin{matrix} K (x_{1}, x) \\ K (x_{2}, x) \\ ⋮ \\ K (x_{n}, x) \end{matrix})

$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$

คำถาม:

(a) หากมีวัตถุมากกว่าหนึ่งมิติมันสมเหตุสมผลที่จะไม่ใช้เมล็ดหรือไม่ เช่นปล่อยให้ $\mathbf{x}_i$ $\mathbf{X}$ เป็น $50 \times 3$ เมทริกซ์นั้น $\mathbf{X}'\mathbf{X}$ จะเป็น $3 \times 3$ และเราจะกลับมาเป็นก $3 \times 3$ เมทริกซ์แทน $50 \times 50$ เมทริกซ์ที่เราจะต้องกลับกันคือเราต้องใช้เมล็ด นี่หมายความว่าถ้า $d \leq n$ เราไม่ควรใช้เมล็ด

(b) ควรใช้เคอร์เนลที่ง่ายที่สุดที่เป็นไปได้หรือไม่ ดูเหมือนว่าเมล็ดในการถดถอยของสันถูกนำมาใช้เพื่อลบล้างอิทธิพลของมิติและไม่ใช้คุณสมบัติบางอย่างของพื้นที่คุณลักษณะ (ซึ่งแตกต่างจากเครื่องเวกเตอร์สนับสนุน) ถึงแม้ว่าเมล็ดสามารถเปลี่ยนระยะทางระหว่างวัตถุต่าง ๆ ได้ดังนั้นเมล็ดที่นิยมใช้ในการถดถอยของสันเขา?

regression ridge-regression kernel-trick

— ส่วนที่เป็นเกลียว
แหล่งที่มา

'ประสิทธิภาพ' มีความหมายแตกต่างกันในสถิติ คุณหมายถึง 'computational complex' หรือเปล่า (ในชื่อ)

— Memming

ฉันหมายถึง "ประสิทธิภาพอัลกอริทึม" แม้ว่ามันจะเป็นจริงที่คำถามของฉันจะลดสิ่งนี้ลงเป็น "ความซับซ้อนในการคำนวณ"

— Helix

(a) วัตถุประสงค์ของการใช้เคอร์เนลคือการแก้ปัญหาการถดถอยแบบไม่เชิงเส้นในกรณีนี้ เคอร์เนลที่ดีจะช่วยให้คุณแก้ปัญหาในพื้นที่ฟีเจอร์ที่ไม่มีที่สิ้นสุด แต่ใช้เคอร์เนลเชิงเส้น $K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$ และการทำเคอร์เนลริดจ์ถดถอยในพื้นที่คู่นั้นเหมือนกับการแก้ปัญหาในพื้นที่แรกนั่นคือมันไม่ได้ประโยชน์อะไรเลย (มันช้ากว่ามากเมื่อจำนวนตัวอย่างเพิ่มขึ้นตามที่คุณสังเกต)

(b) หนึ่งในตัวเลือกที่ได้รับความนิยมมากที่สุดคือเคอร์เนลเอ็กซ์โปเนนเชียลกำลังสอง $K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$ ซึ่งเป็นสากล (ดูอ้างอิงด้านล่าง) มีเมล็ดจำนวนมากและแต่ละอันจะทำให้เกิดผลิตภัณฑ์ภายในที่แตกต่างกัน

(c) การดำเนินการที่ตรงไปตรงมาจำเป็นต้องมีการแก้สมการเชิงเส้นของขนาด $n$ ดังนั้นมันเป็น $O(n^3)$ . มีวิธีการประมาณที่เร็วกว่ามากมายเช่นNyströmการประมาณ นี่เป็นส่วนหนึ่งของการวิจัยเชิงรุก

อ้างอิง:

Bharath Sriperumbudur, Kenji Fukumizu และ Gert Lanckriet ในความสัมพันธ์ระหว่างความเป็นสากลลักษณะของเมล็ดและการฝังตัวของมาตรการ RKHS วารสารวิจัยการเรียนรู้ของเครื่อง, 9: 773–780, 2010
Bernhard Schlkopf, Alexander J. Smola การเรียนรู้กับเมล็ด: สนับสนุนเครื่องเวกเตอร์, การทำให้เป็นมาตรฐาน, การปรับให้เหมาะสมและเกินกว่าปี 2002

— Memming
แหล่งที่มา