คำถามติดแท็ก sigmoid

มีฟังก์ชั่นการเปิดใช้งานหลายอย่างเช่น ReLU, sigmoid หรือ tanhtanh\tanh. จะเกิดอะไรขึ้นเมื่อฉันผสมฟังก์ชั่นการเปิดใช้งาน ฉันเพิ่งพบว่า Google ได้พัฒนาฟังก์ชั่นเปิดใช้งาน Swish ซึ่งเป็น (x * sigmoid) โดยการเปลี่ยนฟังก์ชั่นการเปิดใช้งานมันสามารถเพิ่มความแม่นยำให้กับปัญหาเครือข่ายประสาทขนาดเล็กเช่นปัญหา XOR ได้หรือไม่?

10 neural-networks  machine-learning  activation-function  relu  sigmoid