ฉันจะทำให้เครือข่ายประสาทของฉันดีขึ้นในการทำนายคลื่นไซน์ได้อย่างไร

ดูที่นี่: คุณสามารถดูได้ว่าข้อมูลการฝึกอบรมสิ้นสุดลงที่ใด การฝึกอบรมข้อมูลไปจากที่จะ1$-1$$1$

ฉันใช้ Keras และเครือข่ายหนาแน่น 1-100-100-2 ด้วยการเปิดใช้งาน tanh ฉันคำนวณผลลัพธ์จากสองค่าคือ p และ q เป็น p / q ด้วยวิธีนี้ฉันสามารถบรรลุขนาดใดก็ได้โดยใช้ค่าน้อยกว่า 1 ค่า

โปรดทราบว่าฉันยังเป็นผู้เริ่มต้นในสาขานี้ดังนั้นไปง่าย ๆ กับฉัน

คุณกำลังใช้เครือข่าย feed-forward คำตอบอื่น ๆ นั้นถูกต้องที่ FFNNs ไม่สามารถคาดการณ์ได้ดีกว่าช่วงของข้อมูลการฝึกอบรม

อย่างไรก็ตามเนื่องจากข้อมูลมีคุณภาพเป็นระยะปัญหาอาจคล้อยตามการสร้างแบบจำลองด้วย LSTM LSTMs เป็นเซลล์เครือข่ายนิวรัลที่หลากหลายที่ทำงานตามลำดับและมี "หน่วยความจำ" เกี่ยวกับสิ่งที่พวกเขา "เห็น" มาก่อน บทสรุปของหนังสือเล่มนี้ชี้ให้เห็นว่าวิธีการ LSTM เป็นความสำเร็จที่ผ่านการรับรองเกี่ยวกับปัญหาเป็นระยะ

$(x_i, \sin(x_i))$$x_{i+1} \dots x_{i+n}$$n$$i$

(Jimenez-Guarneros, Magdiel และ Gomez-Gil, Pilar และ Fonseca-Delgado, Rigoberto และ Ramirez-Cortes, Manuel และ Alarcon-Aquino, Vicente "การทำนายระยะยาวของฟังก์ชัน Sine โดยใช้ LSTM Neural Network ในธรรมชาติ - การออกแบบที่ได้แรงบันดาลใจของระบบ Intelligent Hybrid )

หากสิ่งที่คุณต้องการทำคือการเรียนรู้ฟังก์ชั่นเป็นระยะแบบง่าย ๆ แบบนี้คุณสามารถดูได้โดยใช้กระบวนการแบบเกาส์เซียน GPs ช่วยให้คุณสามารถบังคับใช้ความรู้เกี่ยวกับโดเมนของคุณได้ในระดับหนึ่งโดยการระบุฟังก์ชันความแปรปรวนร่วมที่เหมาะสม ในตัวอย่างนี้เนื่องจากคุณทราบว่าข้อมูลเป็นระยะคุณสามารถเลือกเคอร์เนลเป็นระยะจากนั้นแบบจำลองจะประมาณโครงสร้างนี้คุณสามารถดูตัวอย่างในภาพ ที่นี่ฉันกำลังพยายามปรับให้พอดีกับข้อมูลความสูงของน้ำดังนั้นฉันรู้ว่ามันมีโครงสร้างเป็นระยะ เนื่องจากฉันใช้โครงสร้างเป็นงวดโมเดลคาดการณ์ช่วงเวลานี้ (มากหรือน้อย) อย่างถูกต้อง OFC หากคุณพยายามที่จะเรียนรู้เกี่ยวกับโครงข่ายประสาทเทียมสิ่งนี้ไม่เกี่ยวข้องกันจริง ๆ แต่นี่อาจเป็นวิธีที่ดีกว่าคุณสมบัติทางวิศวกรรมมือเล็กน้อย อนึ่งเครือข่ายประสาทและ gp นั้นมีความสัมพันธ์อย่างใกล้ชิดในทางทฤษฎี

จีพีไม่ได้มีประโยชน์เสมอไปเพราะต่างจากมุ้งประสาทมันยากที่จะขยายไปยังชุดข้อมูลขนาดใหญ่และเครือข่ายลึก แต่ถ้าคุณสนใจปัญหามิติต่ำเช่นนี้พวกเขาอาจจะเร็วขึ้นและน่าเชื่อถือมากขึ้น

(ในภาพจุดสีดำคือข้อมูลการฝึกอบรมและสีแดงเป็นเป้าหมายคุณสามารถเห็นได้ว่าถึงแม้ว่ามันจะไม่ถูกต้องก็ตาม แต่ตัวแบบเรียนรู้ระยะเวลาโดยประมาณแถบสีเป็นช่วงความมั่นใจของโมเดล คาดการณ์)

เครื่องอัลกอริทึมการเรียนรู้ - รวมทั้งเครือข่ายประสาท - สามารถเรียนรู้ที่จะใกล้เคียงกับฟังก์ชั่นโดยพลการ แต่เพียงในช่วงเวลาที่มีความหนาแน่นเพียงพอของข้อมูลการฝึกอบรม

อัลกอริธึมการเรียนรู้ด้วยเครื่องเชิงสถิติทำงานได้ดีที่สุดเมื่อพวกเขาทำการแก้ไข - การทำนายค่าที่ใกล้เคียงหรือระหว่างตัวอย่างการฝึกอบรม

นอกเหนือจากข้อมูลการฝึกอบรมของคุณคุณคาดหวังถึงการคาดการณ์ แต่ไม่มีวิธีง่ายๆในการบรรลุเป้าหมายนั้น เครือข่ายประสาทไม่เคยเรียนรู้ฟังก์ชั่นการวิเคราะห์เพียงประมาณผ่านทางสถิติ - มันเป็นเรื่องจริงสำหรับเกือบทุกเทคนิคการเรียนรู้ ML อัลกอริธึมขั้นสูงสามารถเข้าใกล้ฟังก์ชั่นที่เลือกได้อย่างอิสระโดยให้ตัวอย่างเพียงพอ (และพารามิเตอร์อิสระในโมเดล) แต่จะยังคงทำเช่นนั้นในช่วงของข้อมูลการฝึกอบรมที่ให้มาเท่านั้น

วิธีที่เครือข่าย (หรือ ML อื่น ๆ ) ทำงานนอกช่วงของข้อมูลการฝึกอบรมของคุณจะขึ้นอยู่กับสถาปัตยกรรมของมันรวมถึงฟังก์ชั่นการเปิดใช้งานที่ใช้

$\sin$$\text{sin}(x), \text{sin}(2x+\pi/4)$$\sin$

ในบางกรณี @Neil Slater ที่แนะนำวิธีการเปลี่ยนคุณสมบัติของคุณด้วยฟังก์ชั่นเป็นระยะจะทำงานได้ดีมากและอาจเป็นทางออกที่ดีที่สุด ความยากของที่นี่คือคุณอาจต้องเลือกช่วงเวลา / ความยาวคลื่นด้วยตนเอง (ดูคำถามนี้ )

หากคุณต้องการให้ระยะเวลาฝังลึกลงในเครือข่ายมากขึ้นวิธีที่ง่ายที่สุดคือการใช้ sin / cos เป็นฟังก์ชั่นการเปิดใช้งานของคุณในเลเยอร์อย่างน้อยหนึ่งชั้น บทความนี้กล่าวถึงปัญหาและกลยุทธ์ที่อาจเกิดขึ้นสำหรับการจัดการกับฟังก์ชันการเปิดใช้งานเป็นระยะ

อีกวิธีหนึ่งคือการวิจัยนี้ใช้วิธีการที่แตกต่างกันที่น้ำหนักของเครือข่ายที่ขึ้นอยู่กับการทำงานเป็นระยะ ๆ บทความนี้ยังแนะนำให้ใช้เส้นโค้งแทน sin / cos เนื่องจากมีความยืดหยุ่นมากกว่า นี่เป็นหนึ่งในเอกสารที่ฉันโปรดปรานเมื่อปีที่แล้วดังนั้นมันจึงคุ้มค่าที่จะอ่าน (หรืออย่างน้อยก็ดูวิดีโอ) แม้ว่าคุณจะไม่ได้ใช้มัน

คุณใช้วิธีการที่ผิดไม่มีวิธีการใดที่สามารถแก้ไขปัญหานี้ได้

มีหลายวิธีในการแก้ไขปัญหา ฉันจะแนะนำสิ่งที่ชัดเจนที่สุดผ่านวิศวกรรมฟีเจอร์ แทนที่จะเสียบเวลาเป็นคุณลักษณะเชิงเส้นให้วางเป็นส่วนที่เหลือของโมดูลัส T = 1 ตัวอย่างเช่น t = 0.2, 1.2 และ 2.2 ทั้งหมดจะกลายเป็นคุณลักษณะ t1 = 0.1 เป็นต้นตราบใดที่ T มีขนาดใหญ่กว่าระยะเวลาของคลื่นสิ่งนี้จะได้ผล เสียบสิ่งนี้ลงในเน็ตของคุณและดูว่ามันทำงานอย่างไร

คุณสมบัติวิศวกรรมต่ำ มีแนวโน้มเช่นนี้ใน AI / ML ที่พนักงานขายอ้างว่าคุณทิ้งข้อมูลทั้งหมดของคุณลงในเน็ตและอย่างใดมันจะคิดออกว่าจะทำอย่างไรกับพวกเขา แน่นอนว่ามันเป็นไปตามที่คุณเห็นในตัวอย่างของคุณ แต่แล้วมันก็แยกย่อยได้ง่าย นี่เป็นตัวอย่างที่ดีที่แสดงให้เห็นว่าการสร้างคุณสมบัติที่ดีมีความสำคัญแม้ในกรณีที่ง่ายที่สุด

นอกจากนี้ฉันหวังว่าคุณจะรู้ว่านี่เป็นตัวอย่างที่เลวร้ายที่สุดของวิศวกรรมฟีเจอร์ มันเป็นเพียงการให้คุณทราบว่าคุณสามารถทำอะไรกับมัน