การทำความเข้าใจกับพารามิเตอร์ฟังก์ชันของ Gaussian Basis ที่จะใช้ในการถดถอยเชิงเส้น

12

ฉันต้องการใช้ฟังก์ชันพื้นฐานแบบเกาส์เซียนในการนำการถดถอยเชิงเส้นมาใช้ น่าเสียดายที่ฉันมีปัญหาในการทำความเข้าใจกับพารามิเตอร์สองตัวในฟังก์ชันพื้นฐาน โดยเฉพาะ $\mu$ และσ $\sigma$

ชุดข้อมูลของฉันคือ 10,000 x 31 เมทริกซ์ 10,000 ตัวอย่างและ 31 คุณสมบัติ ฉันได้อ่านแล้วว่า "ฟังก์ชันพื้นฐานแต่ละตัวแปลงเวกเตอร์อินพุต x เป็นค่าสเกลาร์" ดังนั้นฉันถือว่า x เป็น 1 ตัวอย่างดังนั้นเวกเตอร์ 1 x 31 จากที่นี่ฉันสับสน สิ่งที่แน่นอนคือ $\mu_j$ พารามิเตอร์? ฉันได้อ่านแล้วว่าสิ่งนี้ควบคุมตำแหน่งของฟังก์ชันพื้นฐาน ดังนั้นนี่ไม่ใช่ความหมายของบางสิ่ง? ฉันถูกโยนโดยตัวห้อย j ( $\mu$ และ $\phi$ ) นี่ทำให้ฉันคิดว่าแถวที่ j แต่ดูเหมือนจะไม่สมเหตุสมผล เป็น $\mu_j$ เวกเตอร์? ตอนนี้สำหรับ $\sigma$ ว่า "ควบคุมระดับเชิงพื้นที่" มันคืออะไรกันแน่? ฉันเห็นการใช้งานบางอย่างที่ลองใช้ค่าเช่น. 1, .5, 2.5 สำหรับพารามิเตอร์นี้ ค่าเหล่านี้คำนวณอย่างไร ฉันค้นคว้าและมองหาตัวอย่างเพื่อการเรียนรู้ แต่ ณ ตอนนี้ฉันยังไม่พบอะไรเลย ความช่วยเหลือหรือทิศทางเป็นที่นิยมอย่างมาก! ขอบคุณ.

regression machine-learning basis-function

— user2743
แหล่งที่มา

11

ในขณะที่คุณสับสนให้ฉันเริ่มต้นด้วยการระบุปัญหาและการตอบคำถามของคุณทีละคน คุณมีขนาดของกลุ่มตัวอย่าง 10,000 คนและแต่ละกลุ่มตัวอย่างมีการอธิบายโดยคุณลักษณะเวกเตอร์ 31หากคุณต้องการดำเนินการถดถอยโดยใช้ฟังก์ชันพื้นฐานแบบเกาส์เรเดียนแล้วกำลังมองหาฟังก์ชันของรูปแบบโดยที่ $x\in\mathbb{R}^{31}$

f (x) = \sum_{j} w_{j} * g_{j} (x; μ_{j}, σ_{j}), j = 1.. m

$f(x) = \sum_{j}{w_j * g_j(x; \mu_j,\sigma_j}), j=1..m$

g_{i}

$g_i$ ฟังก์ชั่นพื้นฐานของคุณคืออะไร โดยเฉพาะคุณต้องไปหา

น้ำหนัก

เพื่อให้สำหรับพารามิเตอร์ที่กำหนด

และ

คุณลดข้อผิดพลาดในระหว่าง

และการคาดการณ์ที่สอดคล้อง

=

- โดยทั่วไปแล้วคุณจะลดข้อผิดพลาดสี่เหลี่ยมน้อย

m

$m$

w_{j}

$w_j$

μ_{j}

$\mu_j$

σ_{j}

$\sigma_j$

y

$y$

\hat{y}

$\hat{y}$

f (\hat{x})

$f(\hat{x})$

พารามิเตอร์ subscript j ของ Mu คืออะไร

คุณต้องไปหาฟังก์ชั่นพื้นฐานเจ(คุณยังจำเป็นต้องกำหนดหมายเลข ) แต่ละฟังก์ชันพื้นฐานจะมีและ a (ยังไม่ทราบ) ห้อยช่วงจากไปม. $m$ $g_j$ $m$ $\mu_j$ $\sigma_j$ $j$ $1$ $m$

เป็นเวกเตอร์? $\mu_j$

ใช่มันเป็นจุดใน 31กล่าวอีกนัยหนึ่งมันคือจุดหนึ่งในพื้นที่คุณลักษณะของคุณและต้องกำหนดสำหรับฟังก์ชันพื้นฐานแต่ละ $\mathbb{R}^{31}$ $\mu$ $m$

ฉันได้อ่านแล้วว่าสิ่งนี้ควบคุมตำแหน่งของฟังก์ชันพื้นฐาน ดังนั้นนี่ไม่ใช่ความหมายของบางสิ่ง?

$j^{th}$ $\mu_j$

ตอนนี้สำหรับซิกมาที่ "ควบคุมระดับเชิงพื้นที่" มันคืออะไรกันแน่?

$\sigma$

$\mathbb{R}^{1}$ $\mathbb{R}^{2}$ $\mathbb{R}^{1}$ $\sigma$ $\sigma$ $\sigma$ $\sigma$ $\sigma$

$\mathbb{R}^{1}$ $x$ $g_j(x)$ $g_j(x)$ $g_j(x)$

ฟังก์ชั่นพื้นฐานแต่ละแปลงเวกเตอร์ x ป้อนเข้าเป็นค่าสเกลาร์

$\mathbf{x}\in\mathbb{R}^{31}$

\exp (- \frac{‖ x - μ_{j} ‖_{2}^{2}}{2 * σ_{j}^{2}})

$\exp\left({-\frac{\|\mathbf{x}-\mu_j\|_2^2}{2*\sigma_j^2}}\right)$

คุณจะได้สเกลาร์เป็นผล ผลลัพธ์สเกลาร์ขึ้นอยู่กับระยะทางของจุดจากจุดศูนย์กลางให้ไว้โดยและเกลา\ $\mathbf{x}$ $\mu_j$ $\|\mathbf{x}-\mu_j\|$ $\sigma_j$

ฉันเห็นการใช้งานบางอย่างที่ลองใช้ค่าเช่น. 1, .5, 2.5 สำหรับพารามิเตอร์นี้ ค่าเหล่านี้คำนวณอย่างไร

หลักสูตรนี้เป็นหนึ่งในแง่มุมที่น่าสนใจและยากของการใช้ฟังก์ชั่นพื้นฐานแบบเกาส์เรเดียน หากคุณค้นหาเว็บคุณจะพบคำแนะนำมากมายเกี่ยวกับการพิจารณาพารามิเตอร์เหล่านี้ ฉันจะร่างในแง่ง่าย ๆ ความเป็นไปได้อย่างหนึ่งขึ้นอยู่กับการจัดกลุ่ม คุณสามารถค้นหาสิ่งนี้และคำแนะนำอื่น ๆ ได้ทางออนไลน์

เริ่มต้นด้วยการจัดกลุ่มตัวอย่าง 10,000 ตัวอย่างของคุณ (คุณสามารถใช้ PCA เพื่อลดขนาดตามด้วยการทำคลัสเตอร์ k-Means) คุณสามารถให้เป็นจำนวนกลุ่มที่คุณพบ (โดยทั่วไปจะใช้การตรวจสอบความถูกต้องข้ามเพื่อกำหนดดีที่สุด) ตอนนี้สร้างฟังก์ชันพื้นฐานเรเดียลสำหรับแต่ละคลัสเตอร์ สำหรับฟังก์ชันพื้นฐานแต่ละแนวรัศมีให้เป็นศูนย์กลาง (เช่นค่าเฉลี่ย, เซนทรอยด์, ฯลฯ ) ของคลัสเตอร์ ให้สะท้อนความกว้างของกระจุกดาว (เช่นรัศมี ... ) ตอนนี้ไปข้างหน้าและทำการถดถอยของคุณ (คำอธิบายง่ายๆนี้เป็นเพียงภาพรวม - มันต้องการงานจำนวนมากในแต่ละขั้นตอน!) $m$ $m$ $g_j$ $\mu_j$ $\sigma_j$

* แน่นอนเส้นโค้งระฆังถูกกำหนดจาก -ถึงดังนั้นจะมีค่าทุกที่ในบรรทัด อย่างไรก็ตามค่าที่อยู่ห่างจากจุดศูนย์กลางนั้นเล็กน้อยมาก $\infty$ $\infty$

— Martino
แหล่งที่มา

คำตอบที่ดี! อย่างไรก็ตามการค้นหาเราไม่จบด้วยการสนับสนุน vector machine regression (ด้วยเคอร์เนล gaussian) ใช่ไหม

μ

$\mu$

— O_Devinyak

@ O_Devinyak- วิธีการขยายแบบพื้นฐานจะต้องมีการประมาณค่าพารามิเตอร์ มีหลายวิธีในการค้นหาดังนั้นฉันจึงไม่คิดว่านี่แปลว่าเรากำลังลดปัญหาให้กับ SVR ตามจริงแล้วฉันไม่ใช่ผู้เชี่ยวชาญเกี่ยวกับ SVR แต่ฟังก์ชั่นการสูญเสียที่ถูกย่อเล็กสุดนั้นแตกต่างกันอย่างแน่นอนและฉันมั่นใจว่าฟีเจอร์หลายอย่างจะถูกเพิกเฉยนั่นคือวิธีการสนับสนุนเวกเตอร์ ด้วยฟังก์ชั่นพื้นฐานที่เราใช้ฟังก์ชั่นทั้งหมดสำหรับการประเมินผล แต่โชคดีที่การสนับสนุนที่กะทัดรัดช่วยให้ฟังก์ชั่นพื้นฐานจำนวนมากส่งคืนค่าที่ไม่ได้รับหรือเป็นศูนย์ อย่างไรก็ตามมันจะทำให้เป็นคำถามที่ดีในฟอรั่มนี้

μ

$\mu$

— martino

ทำไมเราต้องการสเกลแทนที่จะเป็นเมทริกซ์ความแปรปรวนร่วมซึ่งจะทำให้ฟังก์ชันพื้นฐานดูเหมือนส่วนอธิบายของเกาส์หลายตัวแปร

σ_{j}

$\sigma_j$

— stackunderflow

1

ฉันขอคำอธิบายง่ายๆ ในสัญกรณ์ดังกล่าวสามารถเป็นหมายเลขแถวได้ แต่อาจเป็นหมายเลขคุณลักษณะได้เช่นกัน ถ้าเราเขียนจากนั้นหมายถึงหมายเลขคุณลักษณะคือคอลัมน์ - เวกเตอร์เป็นสเกลาร์และเป็นคอลัมน์ เวกเตอร์ ถ้าเราเขียนดังนั้นหมายถึงหมายเลขแถวคือสเกลาร์,คือคอลัมน์ - เวกเตอร์และเป็นแถวของเวกเตอร์ สัญกรณ์ที่หมายถึงคอลัมน์แถวและหมายถึงทั่วไปมากขึ้นดังนั้นให้เราใช้ตัวแปรแรก $j$ $y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$ $j$ $y$ $\beta_j$ $\phi_j(x)$ $y_j=\beta\phi_j(x)$ $j$ $y_j$ $\beta$ $\phi_j(x)$ $i$ $j$

แนะนำฟังก์ชั่นพื้นฐานเสียนเข้าสู่การถดถอยเชิงเส้น, (เกลา) ตอนนี้ไม่ได้ขึ้นอยู่กับค่าตัวเลขของคุณลักษณะ (เวกเตอร์) แต่ในระยะทางระหว่างและศูนย์กลางของทุกจุดอื่น ๆ\ในลักษณะดังกล่าวไม่ได้ขึ้นอยู่กับว่าค่าคุณลักษณะ -th ของสังเกต -th สูงหรือขนาดเล็ก แต่ขึ้นอยู่กับว่าค่าคุณลักษณะ -th อยู่ใกล้หรือไกลจากค่าเฉลี่ยสำหรับการที่ -feature . ดังนั้นไม่ใช่พารามิเตอร์เนื่องจากไม่สามารถปรับได้ มันเป็นเพียงคุณสมบัติของชุดข้อมูล พารามิเตอร์ $y_i$ $x_i$ $x_i$ $\mu_i$ $y_i$ $j$ $i$ $j$ $j$ $\mu_{ij}$ $\mu_j$ $\sigma^2$ มันเป็นค่าสเกลาร์มันควบคุมความนุ่มนวล หากมีขนาดเล็กการเปลี่ยนแปลงระยะทางเล็กน้อยจะมีผลกระทบขนาดใหญ่ (โปรดจำไว้ว่า Gaussian ที่สูงชัน: ทุกจุดที่อยู่ห่างจากจุดศูนย์กลางเล็ก ๆ จะมีค่าน้อย) หากมีขนาดใหญ่การเปลี่ยนแปลงระยะทางเล็กน้อยจะมีผลกระทบต่ำ (โปรดจำไว้ว่า gaussian แบบเรียบ: การลดลงของเมื่อเพิ่มระยะทางจากศูนย์กลางช้า) ควรหาค่าที่เหมาะสมที่สุดของ (มักพบได้จากการตรวจสอบความถูกต้องข้าม) $y$ $y$ $\sigma^2$

— O_Devinyak
แหล่งที่มา

0

ฟังก์ชั่นพื้นฐานแบบเกาส์เซียนในการตั้งค่าหลายตัวแปรมีศูนย์หลายตัวแปร สมมติว่าคุณแล้วเช่นกัน เกาส์เซียนจะต้องมีหลายตัวแปรเช่นโดยที่คือ เมทริกซ์ความแปรปรวนร่วม ดัชนีไม่ใช่องค์ประกอบของเวกเตอร์มันเป็นเพียงเวกเตอร์ th ในทำนองเดียวกันคือเมทริกซ์ลำดับที่ $x\in\mathbb{R}^{31}$ $\mu_j\in\mathbb{R}^{31}$ $e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$ $\Sigma_j\in\mathbb{R}^{31\times 31}$ $j$ $j$ $\Sigma_j$ $j$

— Karel Macek
แหล่งที่มา