ฉันสามารถใช้ ReLU ใน autoencoder เป็นฟังก์ชั่นการเปิดใช้งานได้หรือไม่?

เมื่อติดตั้ง autoencoder กับโครงข่ายประสาทเทียมคนส่วนใหญ่จะใช้ sigmoid เป็นฟังก์ชั่นการเปิดใช้งาน

เราสามารถใช้ ReLU แทนได้หรือไม่? (เนื่องจาก ReLU ไม่มีขีด จำกัด บนขอบเขตโดยทั่วไปหมายถึงภาพอินพุตสามารถมีพิกเซลใหญ่กว่า 1 ซึ่งแตกต่างจากเกณฑ์ที่ จำกัด สำหรับ autoencoder เมื่อใช้ sigmoid)

นี่คือหัวข้อการสนทนา (ตั้งแต่เดือนกรกฎาคม 2013) ที่ระบุว่าอาจมีปัญหาบางอย่างเกี่ยวกับเรื่องนี้ แต่สามารถทำได้

ÇağlarGülçehre (จากห้องทดลองของ Yoshua Bengio) กล่าวว่าเขาประสบความสำเร็จในการใช้เทคนิคต่อไปนี้ในเรื่องความรู้: ความสำคัญของข้อมูลก่อนเพื่อเพิ่มประสิทธิภาพ :

ฝึก DAE แรกตามปกติ แต่ใช้วงจรเรียงกระแสในเลเยอร์ที่ซ่อนอยู่: a1(x) = W1 x + b1 h1 = f1(x) = rectifier(a1(x)) g1(h1) = {sigmoid}(V1 h1 + c1) ลด cross-entropy หรือการสูญเสีย MSE เปรียบเทียบ g1 (f1 (เสียหาย (x))) และ x sigmoid เป็นทางเลือกขึ้นอยู่กับข้อมูล

h2 = f2(h1) = rectifier(W2 h1 + b2) g2(h2) = softplus(V2 h2 + c2) $\lVert f_1(x) - g_2(f_2(\mathrm{rectifier}(\mathrm{corrupt}(a_1(x))))) \rVert^2 + \lambda_1 \lVert W \rVert_1 + \lambda_2 \lVert W \rVert_2$

Xavier Glorot จากห้องปฏิบัติการ Bengio กล่าวว่าเขาทำเช่นเดียวกันยกเว้นการแทนที่ด้วยการลงโทษ "ในค่าการเปิดใช้งาน" (สมมุติ ?) ทั้งในAdaptation สำหรับ การจำแนกประเภทความเชื่อมั่นขนาดใหญ่: แนวทางการเรียนรู้ลึก (ICML 2011) และในเครือข่ายนิวรัลเรกติไฟเซอร์เบาบาง (AISTATS 2011)L 1 ‖ g 2 ( … ) ‖ $\lVert W \rVert_1$$L_1$$\lVert g_2(\dots) \rVert_1$