โมเดลการเรียนรู้เชิงลึกเป็นพารามิเตอร์หรือไม่ หรือไม่ใช่พารามิเตอร์?

ฉันไม่คิดว่าจะมีคำตอบเดียวสำหรับโมเดลการเรียนรู้ลึกทั้งหมด แบบจำลองการเรียนรู้แบบลึกใดที่เป็นพารามิเตอร์และแบบใดที่ไม่ใช่พารามิเตอร์และเพราะอะไร

โดยทั่วไปแล้วรูปแบบการเรียนรู้เชิงลึกจะเป็นตัวแปร - ในความเป็นจริงพวกเขามีพารามิเตอร์จำนวนมากหนึ่งแบบสำหรับแต่ละน้ำหนักที่ปรับระหว่างการฝึก

ในขณะที่จำนวนตุ้มน้ำหนักโดยทั่วไปยังคงไม่เปลี่ยนแปลง อย่างไรก็ตามเนื่องจากโดยทั่วไปมีพารามิเตอร์มากมายดังนั้นจึงอาจเห็นการเลียนแบบที่ไม่ใช่พารามิเตอร์

กระบวนการแบบเกาส์ (ตัวอย่าง) ใช้การสังเกตการณ์แต่ละครั้งเป็นน้ำหนักใหม่และเมื่อจำนวนคะแนนไปถึงอนันต์ก็เช่นกันทำจำนวนน้ำหนัก (เพื่อไม่ให้สับสนกับพารามิเตอร์มากเกินไป)

ฉันพูดโดยทั่วไปเพราะมีรสชาติที่แตกต่างกันมากมายในแต่ละรุ่น ตัวอย่างเช่น GPs ที่มีอันดับต่ำมีจำนวนขอบเขตของพารามิเตอร์ที่อนุมานโดยข้อมูลและฉันแน่ใจว่ามีบางคนที่ทำพารามิเตอร์ที่ไม่ใช่ตัวแปรบางกลุ่มในกลุ่มการวิจัย!

โครงข่ายประสาทส่วนลึกมาตรฐาน (DNN) คือเทคนิคการพูดพารามิเตอร์เนื่องจากมีพารามิเตอร์จำนวนคงที่ อย่างไรก็ตาม DNNs ส่วนใหญ่จะมีปัจจัยหลายประการเพื่อให้พวกเขาสามารถตีความได้ว่าไม่อิงพารามิเตอร์ ; มันได้รับการพิสูจน์แล้วว่าในขอบเขตของความกว้างที่ไม่มีที่สิ้นสุดเครือข่ายประสาทลึกสามารถมองเห็นเป็นกระบวนการแบบเกาส์ (GP) ซึ่งเป็นแบบจำลองที่ไม่มีพารามิเตอร์ [Lee et al., 2018]

อย่างไรก็ตามให้ตีความ DNN อย่างเคร่งครัดเป็นพารามิเตอร์สำหรับส่วนที่เหลือของคำตอบนี้

ตัวอย่างของโมเดลการเรียนรู้เชิงลึกแบบพารามิเตอร์ :

• เครือข่าย autoregressive ลึก (DARN)
• เครือข่ายความเชื่อ Sigmoid (SBN)
• เครือข่ายประสาทที่เกิดขึ้นอีก (RNN), Pixel CNN / RNN
• Variance autoencoder (VAE), รุ่นเกาส์แฝงอื่น ๆ เช่น DRAW

ตัวอย่างของรูปแบบการเรียนรู้เชิงลึกแบบไม่มีพารามิเตอร์คือ:

• กระบวนการแบบเกาส์ลึก (GPs)
• กำเริบ GP
• รัฐพื้นที่ GP
• กระบวนการ Dirichlet ตามลำดับชั้น
• ลดหลั่นกระบวนการอินเดียบุฟเฟ่ต์

ภาพจากการกวดวิชา Shakir ฮาเหม็ดในรุ่นกำเนิดลึก

อ้างอิง:

• "Deep Neural Networks เป็นกระบวนการแบบเกาส์เซียน" (Lee et al., 2018)

Deutsch and Journel (1997, pp. 16-17) opined บนธรรมชาติที่ทำให้เข้าใจผิดของคำว่า "non-parametric" พวกเขาแนะนำว่า≪ ... คำศัพท์ "พารามิเตอร์ที่หลากหลาย" ควรเก็บรักษาไว้สำหรับตัวแบบที่ใช้ตัวบ่งชี้แทนที่จะเป็นตัวระบุแบบดั้งเดิม แต่ทำให้เข้าใจผิด "ไม่ใช่พารามิเตอร์"

"พารามิเตอร์ที่หลากหลาย" อาจเป็นคำอธิบายที่ถูกต้อง แต่ "อุดมไปด้วย" มีการโหลดทางอารมณ์ที่ให้มุมมองเชิงบวกซึ่งอาจไม่ได้รับการรับประกันเสมอ (!)

อาจารย์บางคนอาจยังคงมีอยู่ที่อ้างถึงรวมถึงอวนประสาทป่าสุ่มและชอบเป็น "ไม่ใช่พารามิเตอร์" ทึบและค่ธรรมชาติที่เพิ่มขึ้นของประสาท (โดยเฉพาะอย่างยิ่งกับการแพร่กระจายของฟังก์ชั่นการเปิดใช้งาน Relu) ที่ทำให้พวกเขาไม่ใช่ parameteric- ฟีเจอร์

แบบจำลองการเรียนรู้แบบลึกไม่ควรพิจารณาถึงตัวแปร แบบจำลองพารามิเตอร์ถูกกำหนดเป็นแบบจำลองโดยยึดตามสมมติฐานเบื้องต้นเกี่ยวกับการแจกแจงที่สร้างข้อมูล อวนลึกไม่ได้ตั้งสมมติฐานเกี่ยวกับกระบวนการสร้างข้อมูล แต่ใช้ข้อมูลจำนวนมากเพื่อเรียนรู้ฟังก์ชันที่แม็ปอินพุตกับเอาต์พุต การเรียนรู้อย่างลึกซึ้งนั้นไม่เป็นตัวแปรตามนิยามที่สมเหตุสมผล