สิ่งที่ทำให้เครือข่ายประสาทเทียมเป็นรูปแบบการจำแนกแบบไม่เชิงเส้น?

ฉันพยายามเข้าใจความหมายทางคณิตศาสตร์ของตัวแบบการจำแนกแบบไม่เชิงเส้น:

ฉันเพิ่งอ่านบทความที่พูดคุยเกี่ยวกับอวนประสาทเป็นรูปแบบการจัดหมวดหมู่ที่ไม่ใช่เชิงเส้น

แต่ฉันเพิ่งรู้ว่า:

ชั้นแรก:

$h_1=x_1∗w_{x1h1}+x_2∗w_{x1h2}$

$h_2=x_1∗w_{x2h1}+x_2∗w_{x2h2}$

ชั้นต่อมา

$y=b∗w_{by}+h_1∗w_{h1y}+h_2∗w_{h2y}$

สามารถทำให้ง่ายขึ้นไป

$=b′+(x_1∗w_{x1h1}+x_2∗w_{x1h2})∗w_{h1y}+(x_1∗w_{x2h1}+x_2∗w_{x2h2})∗w_{h2y}$

$=b′+x_1(w_{h1y}∗w_{x1h1}+w_{x2h1}∗w_{h2y})+x_2(w_{h1y}∗w_{x1h1}+w_{x2h2}∗w_{h2y})$

โครงข่ายประสาทสองชั้นเป็นเพียงการถดถอยเชิงเส้นอย่างง่าย

$=b^′+x_1∗W_1^′+x_2∗W_2^′$

สิ่งนี้สามารถแสดงให้เห็นถึงจำนวนเลเยอร์ใด ๆ เนื่องจากการรวมกันเชิงเส้นของจำนวนน้ำหนักใด ๆ เป็นเส้นตรงอีกครั้ง

อะไรที่ทำให้โครงข่ายประสาทเทียมเป็นแบบจำลองการจำแนกแบบไม่เชิงเส้น
ฟังก์ชั่นการเปิดใช้งานจะส่งผลกระทบต่อความไม่เป็นเชิงเส้นของรุ่นอย่างไร
คุณอธิบายฉันได้ไหม

ฉันคิดว่าคุณลืมฟังก์ชั่นการเปิดใช้งานในโหนดในเครือข่ายนิวรัลซึ่งไม่ใช่เชิงเส้นและจะทำให้ทั้งโมเดลไม่เป็นเชิงเส้น

ในสูตรของคุณไม่ถูกต้องทั้งหมดที่

$$h_1 \neq w_1x_1+w_2x_2$$

แต่

$$h_1 = \text{sigmoid}(w_1x_1+w_2x_2)$$

โดยที่ sigmoid ทำหน้าที่เช่นนี้$\text{sigmoid}(x)=\frac 1 {1+e^{-x}}$

ลองใช้ตัวอย่างตัวเลขที่จะอธิบายถึงผลกระทบของฟังก์ชั่น sigmoid ที่สมมติว่าคุณมีแล้ว\ในทางกลับกันสมมติว่าคุณมี ,และมันเกือบจะเหมือนกับซึ่งไม่ใช่เชิงเส้นsigmoid ( 4 ) = 0.99 w 1 x 1 + w 2 x 2 = 4000 sigmoid ( 4000 ) = 1 sigmoid ( 4 $w_1x_1+w_2x_2=4$$\text{sigmoid}(4)=0.99$$w_1x_1+w_2x_2=4000$$\text{sigmoid}(4000)=1$$\text{sigmoid}(4)$

---

นอกจากนี้ฉันคิดว่าสไลด์ 14 ในบทช่วยสอนนี้สามารถแสดงตำแหน่งที่คุณทำผิดอย่างแน่นอน สำหรับโปรดไม่ใช่ otuput ไม่ใช่ -7.65 แต่ sigmoid ( - 7.65 $H_1$$\text{sigmoid}(-7.65)$

คุณถูกต้องว่าเลเยอร์เชิงเส้นหลายรายการสามารถเทียบเท่ากับเลเยอร์เชิงเส้นเดียวได้ ดังที่คำตอบอื่น ๆ ได้กล่าวไว้ฟังก์ชั่นการเปิดใช้งานแบบไม่เชิงเส้นอนุญาตการจำแนกแบบไม่เชิงเส้น การบอกว่าตัวจําแนกเป็นแบบไม่เชิงเส้นหมายความว่ามันมีขอบเขตการตัดสินใจแบบไม่เชิงเส้น ขอบเขตการตัดสินใจเป็นพื้นผิวที่แยกชั้นเรียน ตัวจําแนกจะคาดการณ์หนึ่งชั้นสำหรับทุกจุดในด้านหนึ่งของขอบเขตการตัดสินใจและอีกชั้นหนึ่งสำหรับทุกจุดในด้านอื่น ๆ

ลองพิจารณาสถานการณ์ทั่วไป: ทำการจำแนกเลขฐานสองกับเครือข่ายที่มีหน่วยซ้อนไม่เชิงเส้นหลายชั้นและหน่วยเอาท์พุทที่มีฟังก์ชั่นเปิดใช้งาน sigmoidal ให้เอาต์พุต,คือเวกเตอร์ของการเปิดใช้งานสำหรับเลเยอร์ที่ซ่อนอยู่ล่าสุด,คือเวกเตอร์ของน้ำหนักของพวกเขาไปยังยูนิตเอาต์พุต, และคืออคติของเอาต์พุตยูนิต ผลลัพธ์คือ:h w $y$$h$$w$$b$

$$y = \sigma(hw + b)$$

โดยที่เป็นฟังก์ชัน sigmoid โลจิสติกส์ เอาท์พุทถูกตีความว่าเป็นความน่าจะเป็นว่าชั้นเป็น1คลาสคาดการณ์คือ:1 $\sigma$$1$$c$

$$c = \left \{ \begin{array}{cl} 0 & y \le 0.5 \\ 1 & y > 0.5 \\ \end{array} \right .$$

ลองพิจารณากฎการจัดหมวดหมู่เกี่ยวกับการเปิดใช้งานหน่วยที่ซ่อนอยู่ เราจะเห็นว่าการเปิดใช้งานหน่วยที่ซ่อนอยู่จะถูกฉายลงบนเส้นB กฎสำหรับการกำหนดคลาสเป็นฟังก์ชั่นของซึ่งสัมพันธ์กับการฉายภาพตามเส้น กฎการจัดหมวดหมู่จึงเทียบเท่ากับการพิจารณาว่าการประมาณการตามเส้นนั้นน้อยกว่าหรือมากกว่าขีด จำกัด บางส่วน (ในกรณีนี้ขีด จำกัด จะถูกกำหนดโดยค่าลบของอคติ) ซึ่งหมายความว่าขอบเขตการตัดสินใจเป็นไฮเปอร์เพลนที่เป็นฉากตั้งฉากกับเส้นและตัดกันเส้น ณ จุดที่สอดคล้องกับขีด จำกัด นั้น$hW + b$$y$

ฉันกล่าวก่อนหน้านี้ว่าขอบเขตการตัดสินใจไม่เชิงเส้น แต่ไฮเปอร์เพลนเป็นคำจำกัดความของขอบเขตเชิงเส้น แต่เราได้พิจารณาขอบเขตเป็นหน้าที่ของหน่วยที่ซ่อนอยู่ก่อนหน้าเอาต์พุต การเปิดใช้งานหน่วยที่ซ่อนอยู่เป็นฟังก์ชันที่ไม่ใช่เชิงเส้นของอินพุตดั้งเดิมเนื่องจากเลเยอร์ที่ซ่อนไว้ก่อนหน้านี้และฟังก์ชั่นการเปิดใช้งานแบบไม่เชิงเส้น วิธีหนึ่งที่จะคิดเกี่ยวกับเครือข่ายก็คือมันจะทำการแมปข้อมูลแบบไม่เชิงเส้นในพื้นที่ของคุณลักษณะ พิกัดในพื้นที่นี้ได้รับจากการเปิดใช้งานของหน่วยที่ซ่อนอยู่ล่าสุด เครือข่ายทำการจำแนกเชิงเส้นในพื้นที่นี้ (การถดถอยโลจิสติกส์ในกรณีนี้) นอกจากนี้เรายังสามารถคิดถึงขอบเขตการตัดสินใจในฐานะหน้าที่ของอินพุตต้นฉบับ ฟังก์ชั่นนี้จะเป็นแบบไม่เชิงเส้นเนื่องจากการแมปแบบไม่เชิงเส้นจากอินพุตไปยังการเปิดใช้งานหน่วยที่ซ่อนอยู่

โพสต์บล็อกนี้แสดงให้เห็นถึงตัวเลขและภาพเคลื่อนไหวที่ดีของกระบวนการนี้

ความไม่เชิงเส้นมาจากฟังก์ชันการเปิดใช้งาน sigmoid, 1 / (1 + e ^ x) โดยที่ x คือการรวมกันเชิงเส้นของตัวทำนายและน้ำหนักที่คุณอ้างถึงในคำถามของคุณ

อย่างไรก็ตามขอบเขตของการเปิดใช้งานนี้เป็นศูนย์และอีกอันหนึ่งเนื่องจากตัวส่วนมีขนาดใหญ่จนเศษส่วนเข้าใกล้ศูนย์หรือ e ^ x กลายเป็นขนาดเล็กมากจนเศษส่วนเข้าใกล้ 1/1