ความหมายเดิมของ“ระเหย” คือการผ่าตัดเอาเนื้อเยื่อของร่างกาย คำว่า "การศึกษาการระเหย" มีรากฐานมาจากสาขาประสาทวิทยาทดลองในปี 1960 และ 1970 ซึ่งมีการเอาสมองบางส่วนของสัตว์ออกเพื่อศึกษาผลกระทบที่เกิดขึ้นกับพฤติกรรมของพวกเขา
ในบริบทของการเรียนรู้ของเครื่องและโดยเฉพาะอย่างยิ่งเครือข่ายประสาทที่ซับซ้อน "การศึกษาการระเหย" ได้ถูกนำมาใช้เพื่ออธิบายขั้นตอนที่บางส่วนของเครือข่ายจะถูกลบออกเพื่อให้เข้าใจพฤติกรรมของเครือข่ายได้ดีขึ้น
คำนี้ได้รับความสนใจตั้งแต่ทวีตโดย Francois Cholletผู้เขียนหลักของกรอบการเรียนรู้ลึกของ Keras ในเดือนมิถุนายน 2018:
การศึกษาระเหยเป็นสิ่งสำคัญสำหรับการวิจัยการเรียนรู้ลึก - ไม่สามารถความเครียดนี้พอ การทำความเข้าใจสาเหตุในระบบของคุณเป็นวิธีที่ตรงไปตรงมาที่สุดในการสร้างความรู้ที่เชื่อถือได้ (เป้าหมายของการวิจัยใด ๆ ) และการระเหยเป็นวิธีที่มีความพยายามต่ำมากในการมองไปที่เวรกรรม
หากคุณทำการตั้งค่าการเรียนรู้เชิงลึกที่ซับซ้อนคุณมีโอกาสที่จะลบโมดูลบางส่วน (หรือแทนที่คุณสมบัติที่ผ่านการฝึกอบรมด้วยชุดการสุ่ม) โดยไม่มีการสูญเสียประสิทธิภาพ กำจัดเสียงรบกวนในกระบวนการวิจัย: ทำการศึกษา ablation
ไม่เข้าใจระบบของคุณอย่างสมบูรณ์หรือ ชิ้นส่วนที่เคลื่อนไหวจำนวนมาก? ต้องการให้แน่ใจว่าเหตุผลที่ทำให้การทำงานนั้นเกี่ยวข้องกับสมมติฐานของคุณหรือไม่ ลองลบสิ่งต่าง ๆ ใช้เวลาอย่างน้อย 10% ของเวลาทดลองของคุณโดยใช้ความพยายามอย่างซื่อสัตย์เพื่อหักล้างวิทยานิพนธ์ของคุณ
ยกตัวอย่างเช่นGirshick และเพื่อนร่วมงาน (2014)อธิบายระบบตรวจจับวัตถุที่ประกอบด้วย“ โมดูล” สามส่วน: พื้นที่แรกของภาพที่จะนำเสนอในการค้นหาวัตถุโดยใช้อัลกอริธึมการค้นหาแบบเลือก ( Uijlings และเพื่อนร่วมงาน 2012 ) ซึ่ง ฟีดเข้าสู่เครือข่ายประสาทเทียมขนาดใหญ่ (มี 5 ชั้น Convolutional และ 2 ชั้นที่เชื่อมต่ออย่างเต็มที่ 2 ชั้น) ที่ดำเนินการแยกคุณลักษณะซึ่งจะป้อนฟีดเป็นชุดของเครื่องเวกเตอร์สนับสนุนสำหรับการจำแนกประเภท เพื่อให้เข้าใจระบบได้ดีขึ้นผู้เขียนได้ทำการศึกษาการระเหยซึ่งส่วนต่าง ๆ ของระบบถูกลบออก - เช่นการลบเลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์หนึ่งหรือทั้งสองอย่างของซีเอ็นเอ็นส่งผลให้ประสิทธิภาพลดลงเล็กน้อยอย่างน่าประหลาดใจ
พลังการเป็นตัวแทนของซีเอ็นเอ็นส่วนใหญ่มาจากเลเยอร์ convolutional แทนที่จะเป็นเลเยอร์ที่เชื่อมต่อหนาแน่นกว่ามาก
OP ขอรายละเอียดของ / how / เพื่อทำการศึกษาระเหยและสำหรับการอ้างอิงที่ครอบคลุม ฉันไม่เชื่อว่ามีคำตอบ "หนึ่งขนาดเหมาะกับทุกคน" นี้ ตัวชี้วัดมีแนวโน้มที่จะแตกต่างกันไปขึ้นอยู่กับแอปพลิเคชันและประเภทของโมเดล หากเรา จำกัด ปัญหาให้แคบลงไปยังเครือข่ายประสาทลึกหนึ่งเครือข่ายก็จะค่อนข้างตรงไปตรงมาเพื่อดูว่าเราสามารถลบเลเยอร์ในแบบที่มีหลักการและสำรวจว่าการเปลี่ยนแปลงนี้จะส่งผลต่อประสิทธิภาพของเครือข่ายอย่างไร นอกเหนือจากนี้ในทางปฏิบัติแล้วทุกสถานการณ์มีความแตกต่างกันและในโลกแห่งการเรียนรู้การใช้งานเครื่องจักรขนาดใหญ่ที่ซับซ้อนนี่หมายถึงว่าวิธีการที่ไม่เหมือนใครน่าจะเป็นสิ่งจำเป็นสำหรับแต่ละสถานการณ์
ในบริบทของตัวอย่างใน OP - การถดถอยเชิงเส้น - การศึกษาการระเหยไม่สมเหตุสมผลเพราะสิ่งที่สามารถ "ลบ" ออกจากแบบจำลองการถดถอยเชิงเส้นคือตัวทำนายบางอย่าง การทำเช่นนี้ใน "หลักการ" แฟชั่นเป็นเพียงขั้นตอนการเลือกแบบขั้นตอนย้อนกลับซึ่งจะขมวดคิ้วโดยทั่วไปเมื่อ - ดูที่นี่ , ที่นี่และที่นี่เพื่อดูรายละเอียด ขั้นตอนการทำให้เป็นมาตรฐานเช่น Lasso เป็นตัวเลือกที่ดีกว่าสำหรับการถดถอยเชิงเส้น
refs:
Girshick, R. , Donahue, J. , Darrell, T. และ Malik, J. , 2014. ลำดับชั้นของฟีเจอร์หลากหลายสำหรับการตรวจจับวัตถุที่แม่นยำและการแบ่งส่วนแบบความหมาย ในการดำเนินการประชุม IEEE เกี่ยวกับการมองเห็นคอมพิวเตอร์และการจดจำรูปแบบ (หน้า 580-587)
Uijlings, JR, Van De Sande, KE, Gevers, T. และ Smeulders, AW, 2013 การค้นหาแบบเลือกเพื่อการจดจำวัตถุ สมุดรายวันระหว่างประเทศของวิสัยทัศน์คอมพิวเตอร์ 104 (2), pp.154-171