ฉันกำลังมองหากระดาษที่สามารถช่วยในการให้แนวทางเกี่ยวกับวิธีการเลือกไฮเปอร์พารามิเตอร์ของสถาปัตยกรรมลึกเช่นตัวเข้ารหัสอัตโนมัติแบบเรียงซ้อนหรือเครือข่ายที่เชื่ออย่างลึกซึ้ง มีพารามิเตอร์หลายตัวและฉันสับสนมากเกี่ยวกับวิธีเลือกพวกเขา การใช้การตรวจสอบข้ามไม่ได้เป็นตัวเลือกเนื่องจากการฝึกอบรมใช้เวลานานมาก!
คำตอบ:
โดยทั่วไปมีสี่วิธี:
มีวิธีการที่หลากหลายอยู่ พวกเขาสามารถแบ่งส่วนใหญ่ในวิธีการค้นหาแบบสุ่ม / ไม่ได้บอกทิศทาง (เช่นการค้นหากริดหรือการค้นหาแบบสุ่ม) และวิธีการโดยตรง อย่างไรก็ตามโปรดทราบว่าพวกเขาทุกคนต้องการการทดสอบการตั้งค่าพารามิเตอร์จำนวนมากเว้นแต่คุณจะได้รับรางวัล (อย่างน้อยนับร้อยขึ้นอยู่กับจำนวนพารามิเตอร์)
ในชั้นเรียนของวิธีการโดยตรงสามารถระบุวิธีการได้หลายวิธี:
คุณอาจต้องการดูOptunityซึ่งเป็นแพคเกจ Python ซึ่งมีตัวแก้ปัญหาที่หลากหลายสำหรับการปรับจูนพารามิเตอร์ (ทุกอย่างที่ฉันพูดถึงยกเว้น EGO และ Kriging สำหรับตอนนี้) MATLAB และ R จะสามารถใช้งาน Optunity ได้ในเร็ว ๆ นี้ คำเตือน: ฉันเป็นผู้พัฒนาหลักของแพคเกจนี้
จากประสบการณ์ส่วนตัวของฉันวิธีการวิวัฒนาการมีประสิทธิภาพมากสำหรับปัญหาประเภทนี้
มองไม่เพิ่มเติม! โยชัวเบนจิโอตีพิมพ์หนึ่งในเอกสารที่ใช้ที่ชื่นชอบหนึ่งที่ผมขอแนะนำให้เครื่องใหม่ทั้งหมดวิศวกรการเรียนรู้เมื่อพวกเขาเริ่มการฝึกอบรมประสาท: คำแนะนำการปฏิบัติสำหรับการฝึกอบรมการไล่ระดับสีตามสถาปัตยกรรมลึก ในการรับมุมมองของเขาเกี่ยวกับการเปลี่ยนพารามิเตอร์หลายมิติ: รวมถึงอัตราการเรียนรู้ตารางอัตราการเรียนรู้การหยุดก่อนกำหนดขนาดรถมินิบัสจำนวนเลเยอร์ที่ซ่อนอยู่ ฯลฯ ดูในส่วนที่ 3