เหตุใดหน่วยโฆษณาเชิงเส้นที่แก้ไขแล้วจึงถือว่าเป็นแบบไม่เชิงเส้น

ทำไมฟังก์ชั่นการเปิดใช้งานของหน่วยเชิงเส้นที่ถูกแก้ไข (ReLU) จึงไม่ถือว่าเป็นแบบเชิงเส้น

f (x) = max (0, x)

$f(x) = \max(0,x)$

พวกเขาเป็นเส้นตรงเมื่ออินพุตเป็นบวกและจากความเข้าใจของฉันที่จะปลดล็อคพลังตัวแทนของเครือข่ายลึกนั้นต้องมีการเปิดใช้งานที่ไม่ใช่เชิงเส้นมิฉะนั้นเครือข่ายทั้งหมดอาจแสดงเป็นเลเยอร์เดียว

neural-networks deep-learning

— อาลี
แหล่งที่มา

มีคำถามที่คล้ายกันที่ถามมาก่อน: stats.stackexchange.com/questions/275358/ …ถึงแม้ว่ามันอาจจะไม่ซ้ำกัน

— ก็ตาม

RELUs เป็นแบบไม่เชิงเส้น เพื่อช่วยให้สัญชาตญาณของคุณพิจารณาเครือข่ายง่ายมากกับการป้อนข้อมูลหน่วย 1 2 หน่วยซ่อนและเอาท์พุท 1 หน่วยซีด้วยเครือข่ายง่าย ๆ นี้เราสามารถใช้ฟังก์ชันค่าสัมบูรณ์ $x$ $y_i$ $z$

z = max (0, x) + max (0, - x),

$z = \max(0, x) + \max(0, -x),$

หรือสิ่งที่มีลักษณะคล้ายกับฟังก์ชั่น sigmoid ที่ใช้กันทั่วไป

z = max (0, x + 1) - max (0, x - 1) .

$z = \max(0, x + 1) - \max(0, x - 1).$

โดยการรวมสิ่งเหล่านี้เข้ากับเครือข่ายขนาดใหญ่ / ใช้หน่วยที่ซ่อนอยู่มากขึ้นเราสามารถประมาณฟังก์ชั่นโดยพลการ

$\hskip2in$ ฟังก์ชั่นเครือข่าย RELU

— ลูคัส
แหล่งที่มา

ReLus ที่สร้างขึ้นด้วยมือเหล่านี้จะถูกสร้างขึ้นด้วย apriori และเขียนรหัสแบบแข็งเป็นเลเยอร์หรือไม่ ถ้าเป็นเช่นนั้นคุณจะรู้ได้อย่างไรว่าเครือข่ายของคุณต้องการหนึ่งใน ReLus ที่สร้างขึ้นเป็นพิเศษเหล่านี้โดยเฉพาะ

— โมนิก้า Heddneck

@MonicaHeddneck คุณสามารถระบุไม่ใช่เชิงเส้นของคุณเองใช่ สิ่งที่ทำให้ฟังก์ชั่นการเปิดใช้งานดีกว่าฟังก์ชั่นหนึ่งคือหัวข้อการวิจัยคง ตัวอย่างเช่นเราเคยใช้ sigmoids,แต่แล้วเนื่องจากปัญหาการไล่ระดับสีที่หายไป ReLU จึงเป็นที่นิยมมากขึ้น ดังนั้นขึ้นอยู่กับคุณที่จะใช้ฟังก์ชั่นการเปิดใช้งานแบบไม่เชิงเส้น

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1 + e^{-x}}$

— Tarin Ziyaee

คุณจะประมาณกับ ReLU ในตัวอย่างอย่างไร

e^{x}

$e^x$

— Aksakal

@ Lucas ดังนั้นโดยทั่วไปถ้ารวม (+)> 1 ReLUs เราสามารถประมาณฟังก์ชั่นใด ๆ แต่ถ้าเราเพียงแค่reLu(reLu(....))มันจะเป็นเส้นตรงเสมอ? นอกจากนี้ที่นี่คุณเปลี่ยนxไปx+1ซึ่งอาจคิดได้ว่าZ=Wx+bW & b เปลี่ยนแปลงไปเพื่อให้รูปแบบที่แตกต่างกันของประเภทx& & x+1;

— anu