คำแนะนำที่ฉันจะให้มีดังนี้:
หมดความเป็นไปได้ของตัวแบบเชิงเส้น (เช่นการถดถอยโลจิสติก) ก่อนที่จะไปสู่ตาข่ายประสาทโดยเฉพาะอย่างยิ่งถ้าคุณมีคุณสมบัติมากมายและไม่ได้สังเกตมากเกินไป สำหรับปัญหามากมาย Neural Net ไม่ได้ทำการแยกประเภทเส้นตรงแบบง่าย ๆ และวิธีเดียวที่จะตรวจสอบว่าปัญหาของคุณอยู่ในหมวดหมู่นี้คือลองดูและดู
ตรวจสอบวิธีเคอร์เนล (เช่นสนับสนุน Vector Machines (SVM), การถดถอยโลจิสติกเคอร์เนล), แบบจำลองกระบวนการ Gaussian ก่อน ในทั้งสองกรณี over-fitting ถูกควบคุมอย่างมีประสิทธิภาพโดยการปรับพารามิเตอร์ไฮเปอร์จำนวนเล็กน้อย สำหรับวิธีการเคอร์เนลนี้มักจะดำเนินการโดยการตรวจสอบข้ามสำหรับแบบจำลองกระบวนการเกาส์เซียนนี้จะดำเนินการโดยการเพิ่มโอกาสสูงสุดที่ขอบ (ยังเป็นที่รู้จักกันในนาม ฉันพบว่ามันง่ายกว่ามากที่จะได้แบบจำลองที่สมเหตุสมผลโดยใช้วิธีการเหล่านี้มากกว่ากับเครือข่ายประสาทเนื่องจากวิธีการหลีกเลี่ยงการปรับตัวที่ไม่เหมาะสมเกินไปนั้นตรงไปตรงมามากขึ้น
หากคุณต้องการใช้โครงข่ายประสาทเทียมให้เริ่มต้นด้วยเครือข่ายฟังก์ชันพื้นฐานแบบเรเดียน (ปกติ) แทนที่จะเป็นเครือข่ายประเภทฟีดข้อมูลหลายระดับ (MLP) ของ feedforward
หากคุณใช้ MLP ให้ใช้การทำให้เป็นมาตรฐาน ถ้าคุณทำมันจะมีความไวน้อยกว่าตัวเลือกเกี่ยวกับสถาปัตยกรรมเช่นการปรับจำนวนหน่วยที่ซ่อนไว้ให้เหมาะสม สิ่งที่คุณต้องทำคือเลือกค่าที่ดีสำหรับพารามิเตอร์ Bayesian "กรอบหลักฐาน" ของ MacKay ให้วิธีการที่ดีสำหรับการตั้งค่าพารามิเตอร์การทำให้เป็นมาตรฐาน หากคุณใช้การทำให้เป็นมาตรฐานดังนั้นจำนวนการสังเกตและจำนวนของตัวแปรจะน้อยกว่าปัญหา
ในการตรวจจับการกระชับเกินตัวเพียงแค่ทำการตรวจสอบข้ามเพื่อทดสอบประสิทธิภาพการวางนัยทั่วไป
สำหรับคลาสที่มีความถี่เท่ากันสิ่งที่ต้องจำก็คือถ้าคุณฝึกฝนโมเดลด้วยชุดการฝึกอบรมที่สมดุล แต่คลาสนั้นไม่สมดุลในข้อมูลการปฏิบัติงานโมเดลนั้นมีแนวโน้มที่จะคาดเดากลุ่มชนกลุ่มน้อยน้อยมาก หากคุณใช้ตัวจําแนกประเภทความน่าจะเป็นเช่นการถดถอยโลจิสติกหรือเครือข่ายประสาทเทียมคุณสามารถแก้ไขความน่าจะเป็นที่คาดการณ์ไว้เสมอว่าจะต้องคํานึงถึงสิ่งนั้นหลังจากการฝึกอบรม หากชุดข้อมูลของคุณมีความไม่สมดุลมากฉันขอแนะนำให้ให้น้ำหนักต่างกันของรูปแบบจากคลาสบวกและลบโดยใช้ปัจจัยถ่วงน้ำหนักที่เลือกโดยการตรวจสอบข้าม
อย่างไรก็ตามเมื่อชั้นเรียนมีความไม่สมดุลกันมากโดยปกติจะเป็นกรณีที่ข้อผิดพลาดเท็จ - ลบและเท็จบวกมีค่าใช้จ่ายที่แตกต่างกัน (เช่นในการตรวจคัดกรองทางการแพทย์การทดสอบเท็จลบแย่กว่าเท็จบวกมาก) บ่อยครั้งที่สิ่งที่คุณต้องทำคือรวมค่าใช้จ่ายการจำแนกประเภทไว้ในฟังก์ชันข้อผิดพลาดที่ใช้ในการฝึกอบรมเครือข่าย
หากคุณเป็นผู้ใช้ MATLAB (อย่างฉัน) ฉันขอแนะนำซอฟต์แวร์ NETLAB (Ian Nabney และ Chris Bishop) หรือซอฟต์แวร์ที่ไปพร้อมกับหนังสือ Gaussian Process สำหรับการเรียนรู้ของเครื่องโดย Rasmussen และ Williams ฉันสามารถแนะนำหนังสือ "Neural Networks สำหรับการจดจำรูปแบบ" ได้อย่างยิ่งโดย Chris Bishop สำหรับทุกคนที่เริ่มใช้โครงข่ายประสาท มันเป็นหนังสือที่ยอดเยี่ยมและครอบคลุมเนื้อหาที่มีความคมชัดที่ยอดเยี่ยมและระดับคณิตศาสตร์ขั้นต่ำที่จำเป็นในการเข้าใจสิ่งที่คุณกำลังทำจริงและส่วนใหญ่นำไปใช้ในซอฟต์แวร์ NETLAB (ซึ่งอาจทำงานภายใต้ระดับแปดเสียง)
HTH
PS วิธีที่ดีที่สุดในการสร้างแบบจำลองด้วยโครงข่ายประสาทอาจใช้วิธีแบบเบย์ตาม Hybrid Monte Carlo (HMC) ซึ่งพัฒนาโดย Radford Neal โดยทั่วไปแล้วปัญหาจะเริ่มต้นในการสร้างแบบจำลองเมื่อคุณลองและปรับพารามิเตอร์บางอย่างให้เหมาะสมและท้ายที่สุดก็คือการปรับให้กระชับ ทางออกที่ดีที่สุดคือการไม่เพิ่มประสิทธิภาพของสิ่งใดเลยและปรับขอบ (รวม) เหนือพารามิเตอร์แทน น่าเสียดายที่การรวมกลุ่มนี้ไม่สามารถดำเนินการวิเคราะห์ได้ดังนั้นคุณต้องใช้วิธีการสุ่มตัวอย่างที่ใช้แทน อย่างไรก็ตามนี่คือ (a) คอมพิวเตอร์ที่มีราคาแพงและ (b) บิตของ "ศิลปะสีดำ" และต้องมีความเข้าใจและประสบการณ์อย่างลึกซึ้ง