เมทริกซ์เคอร์เนล RBF มีแนวโน้มว่าจะไม่ดีหรือไม่?

ฉันใช้ฟังก์ชั่นเคอร์เนล RBF เพื่อใช้อัลกอริทึมการเรียนรู้ของเคอร์เนล (KLPP) หนึ่งตัวเคอร์เนลผลลัพธ์ แสดงว่ามีสภาพที่ไม่ดีอย่างยิ่งจำนวนเงื่อนไขของ L2-norm มา $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$

10^{17} - 10^{64}

$10^{17}-10^{64}$

มีวิธีใดบ้างที่จะทำให้ห้องปรับอากาศมีสภาพดี? ฉันเดาว่าต้องมีการปรับพารามิเตอร์แต่ฉันไม่ทราบว่าจะต้องทำอย่างไร $\sigma$

ขอบคุณ!

— ZeyuHu
แหล่งที่มา

ดีถ้าคุณทำ

σ_{m}

$\sigma_m$ ยิ่งคุณปรับปรุงจำนวนเงื่อนไขน้อยลง

— user189035

คำตอบ:

ลดความกว้างของเคอร์เนล $\sigma_m$ มักจะลดจำนวนเงื่อนไข

อย่างไรก็ตามการฝึกอบรมเคอร์เนลสามารถกลายเป็นเอกพจน์หรือใกล้กับเอกพจน์สำหรับฟังก์ชั่นพื้นฐานหรือการกระจายจุดใด ๆ ให้ฟังก์ชั่นพื้นฐานที่ทับซ้อนกัน เหตุผลนี้ค่อนข้างง่ายมาก:

เมทริกซ์เคอร์เนล $K$ เป็นเอกเทศเมื่อดีเทอร์มีแนนต์ $\det(K)$ เป็นศูนย์
การสลับสองจุดและในการแก้ไขของคุณนั้นเทียบเท่ากับการแลกเปลี่ยนสองแถวในโดยสมมติว่าจุดทดลองของคุณยังคงที่ $x_i$ $x_j$ $K$
การสลับสองแถวในเมทริกซ์จะเปลี่ยนสัญลักษณ์ของดีเทอร์มีแนนต์

ทีนี้ลองนึกภาพการเลือกสองจุดและแล้วค่อย ๆ หมุนมันเพื่อที่จะเปลี่ยนสถานที่ ในขณะที่ทำสิ่งนี้ดีเทอร์มิแนนต์ของจะเปลี่ยนเครื่องหมายกลายเป็นศูนย์ ณ จุดใดจุดหนึ่งในระหว่าง ณ จุดนี้คือตามนิยามเอกพจน์ $x_i$ $x_j$ $K$ $K$

— เปโดร
แหล่งที่มา

ไม่ใช่เมทริกซ์ K สมมาตร - การสลับสองจุดจะสลับแถวและคอลัมน์?

— ปฏิเสธ

@Denis นั่นเป็นเพียงกรณีที่โหนดและจุดทดลองของคุณเหมือนกันและคุณย้ายทั้งคู่ นี่เป็นเหตุผลว่าทำไมในกระสุนนัดที่สองฉันเขียนว่า "สมมติว่าจุดทดลองใช้ของคุณคงที่"

— Pedro

เคอร์เนลเมทริกซ์ของ Gaussians (คำถามของ OP) เป็นแบบกึ่งบวกแน่นอนหรือไม่

— เดนิส

@Denis: อีกครั้งนี่เป็นคำถามของวิธีการที่คุณกำหนดปัญหาการแก้ไข RBF ของคุณ พิจารณากรณีทั่วไปมากที่สุดที่คุณได้ RBFs แน่นิ่งอยู่บนจุด ,และคุณต้องการที่จะลดการแก้ไขที่ Theจุด ,M ตัวอย่างโปสเตอร์ของสมมติและ\หากเราตั้งค่าและแรกและจากนั้นย้ายเราสามารถสร้างเอกพจน์ได้เล็กน้อย

N

$N$

x_{i}

$x_i$

i = 1 \dots N

$i=1\dots N$

M

$M$

ξ_{j}

$\xi_j$

j = 1 \dots M

$j=1\dots M$

M = N

$M=N$

ξ_{j} = x_{i}

$\xi_j=x_i$

M \leftarrow N

$M\leftarrow N$

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$

x_{i}

$x_i$

K

$K$

— Pedro

ข้อเสนอแนะสองสามข้อ:

เลือกระยะทางเฉลี่ย | สุ่ม - ใกล้ที่สุดx_i(การประมาณราคาถูกสำหรับจุดกระจายอย่างสม่ำเสมอในคิวบ์หน่วยใน , คือ 0.5 / ) เราต้องการมีขนาดใหญ่สำหรับใกล้ , เล็กสำหรับเสียงพื้นหลัง; พล็อตที่สุ่มไม่กี่x $\sigma \sim$ $x$ $x_i$ $N$ $\mathbb{R}^d, d\ 2 .. 5$ $N^{1/d}$
$\phi( |x - x_i| )$ $x_i$ $x$ $x$
เลื่อนออกจาก 0, ,หรือมากกว่านั้น; นั่นคือทำให้เป็นปกติ $K$ $K \to K + \lambda I$ $\lambda \sim 10^{-6}$
ดูที่น้ำหนักจากการแก้f หากบางคนยังคงมีขนาดใหญ่ (โดยไม่คำนึงถึงหมายเลขเงื่อนไข) นั่นก็มีแนวโน้มที่จะยืนยัน Boyd (ด้านล่าง) ว่า Gaussian RBF นั้นอ่อนแอโดยพื้นฐาน $(K + \lambda I) w = f$

(ทางเลือกหนึ่งสำหรับ RBF คือการถ่วงน้ำหนักทางผกผัน, IDW มันมีข้อดีของการปรับขนาดอัตโนมัติแบบเดียวกันสำหรับระยะทางที่ใกล้ที่สุด 1 2 3 สำหรับ 100 200 300 นอกจากนี้ฉันพบตัวเลือกผู้ใช้อย่างชัดเจนของจำนวน จากเพื่อนบ้านที่ใกล้เคียงที่ต้องพิจารณาชัดเจนกว่าการค้นหากริดบน ) $\dots$ $\dots$ $Nnear$ $\sigma, \lambda$

John P. Boyd ความไร้ประโยชน์ของ Fast Gauss Transform สำหรับการสรุปฟังก์ชั่นพื้นฐานแบบเกาส์เรเดียนกล่าว

การแก้ไขแบบเกาส์ RBF นั้นเป็นแบบไม่ดีสำหรับซีรีย์ส่วนใหญ่ในแง่ที่ว่าการแก้ไขนั้นมีความแตกต่างกันเล็กน้อยกับค่าสัมประสิทธิ์ขนาดใหญ่

หวังว่านี่จะช่วยได้; กรุณาแบ่งปันประสบการณ์ของคุณ

— เดนิส
แหล่งที่มา