การเลือกพารามิเตอร์สำหรับขั้นตอนวิธีเชิงพันธุกรรม

เราจะเลือกจำนวนพารามิเตอร์ที่เหมาะสมสำหรับอัลกอริธึมทางพันธุกรรมเพื่อสร้างแบบจำลองระบบที่กำหนดได้อย่างไร?

ตัวอย่างเช่นสมมติว่าคุณต้องการเพิ่มประสิทธิภาพการผลิตรถยนต์และคุณมี 1,000 วัดประสิทธิภาพต่อชั่วโมงในงานต่าง ๆ สำหรับพนักงาน 1,000 คนที่แตกต่างกัน ดังนั้นคุณมี 1,000,000 จุดข้อมูล ส่วนใหญ่เหล่านี้มีแนวโน้มที่จะมีความสัมพันธ์ที่ไม่ค่อยจะประสิทธิภาพโดยรวมของโรงงานของคุณ แต่ไม่ได้จึงไม่ค่อยที่คุณสามารถพูดได้ว่าพวกเขาจะไม่เกี่ยวข้องกับความเชื่อมั่นทางสถิติ คุณจะเลือกอินพุตสำหรับ GA ของคุณอย่างไรเพื่อที่คุณจะได้ไม่ต้องมีอิสระ 1,000,000+ องศาทำให้เกิดการลู่เข้าที่ช้ามากหรือไม่มีการลู่เข้าเลย

โดยเฉพาะขั้นตอนวิธีใดบ้างที่เราสามารถใช้เพื่อเลือกล่วงหน้าหรือกำจัดคุณลักษณะที่เลือกได้

วิธีการหนึ่งที่ฉันได้ใช้ตัวเองอยู่ในสถานการณ์นี้จะพัฒนาตัวเลือกพารามิเตอร์ตัวเองดังนั้นผมอาจจะมีพ่อแม่เหมือน{a,b,c}, {b,d,e,q,x,y,z}และอื่น ๆ ฉันจะทำให้เด็กกลายพันธุ์เพื่อเพิ่มหรือลดคุณสมบัติ ใช้งานได้ดีกับคุณสมบัติโหล แต่ปัญหาคือว่ามันไม่มีประสิทธิภาพถ้ามีองศาอิสระจำนวนมาก ในกรณีนี้คุณกำลังดู10^nชุดค่าผสม (ในตัวอย่างด้านบน10^1,000,000) ซึ่งทำให้การกรองคุณสมบัติบางอย่างมีความสำคัญอย่างยิ่งเพื่อให้ได้ประสิทธิภาพที่มีประโยชน์

ครั้งแรกของทั้งหมด - ตัวอย่างที่ดูเหมือนจะไม่เหมาะเพราะคุณอาจจะใช้วิธีการถดถอยหรือคลาสสิก ML เพื่อแก้ปัญหานี้ ประการที่สอง - คุณกำลังอ้างถึงปัญหาทั่วไปของการเลือกคุณสมบัติ (Kira, Rendell, 1992)หรือการเลือกคุณลักษณะ (Hall, Holmes, 2003)หรือการเลือกตัวแปร (Guyon, Elisseeff, 2003)หรือการเลือกชุดย่อยตัวแปร (Stecking, Schebesch, 2005)หรือการแยกคุณลักษณะ (Hillion, Masson, Roux, 1988)หรือการลดขนาด (Roweis, Saul, 200)หรือนามธรรม (Amarel, 1968). ปัญหานี้เกี่ยวข้องกับอัลกอริธึมทางพันธุกรรมไม่เพียง แต่สำหรับเทคนิคการเรียนรู้ด้วยเครื่องจักรเกือบทั้งหมดเมื่อจัดการกับข้อมูลมิติสูง

สามารถแยกความแตกต่างได้สามกรณีที่นี่: อินสแตนซ์สุดท้ายของปัญหานี้ที่รู้จักกันในชื่อนามธรรมของรัฐมักจะเกี่ยวข้องกับการสร้างแบบจำลองกระบวนการ (ซึ่งเหมาะกับตัวอย่างของคุณ แต่ไม่ใช่บริบท GA) สามตัวแรกคือการเลือกคุณลักษณะ , เลือกแอตทริบิวต์หรือเลือกตัวแปรที่ดูเหมือนจะเกี่ยวข้องมากที่สุดเมื่อถ่ายคำถามของคุณอย่างแท้จริง ในบริบทนี้วิธีการแก้ปัญหาที่พบบ่อยคือวิธี mrmr (Peng, ลอง, Ding, 2005) จากประสบการณ์ของฉันมันไม่ได้ทำงานได้ดีกับข้อมูลอย่างต่อเนื่อง - อย่างไรก็ตามข้อมูลร่วมสามารถถูกแทนที่ด้วยค่าสัมประสิทธิ์อื่น ๆ เช่นความสัมพันธ์เช่น อีกวิธีที่เป็นไปได้คือการใช้การตรวจสอบข้าม(Picard, Cook, 1984)สำหรับสิ่งนี้. คุณสามารถมีหลายรุ่นแต่ละรุ่นโดยใช้คุณสมบัติที่แตกต่างกันและโดยการเลือกรุ่นด้วยเทคนิคการตรวจสอบข้ามคุณเลือกรุ่นที่ดีที่สุดซึ่งจะให้ข้อมูลเกี่ยวกับคุณลักษณะที่ทำงานได้ดีที่สุดสำหรับงานที่กำหนด

กรณีการแยกคุณลักษณะและการลดขนาดช่วยให้ไม่เพียง แต่เลือกคุณสมบัติเริ่มต้น แต่ยังรวมถึงการรวมกันของพวกเขา ตัวอย่างโซลูชันที่เป็นที่รู้จักกันดีสำหรับกรณีนี้คืออัลกอริธึม PCA (Pearson, 1901)ซึ่งสร้างผลลัพธ์ที่ดีที่สุดในแง่ของความแปรปรวนที่อธิบายชุดของคุณลักษณะเป็นการรวมกันเชิงเส้นของคุณลักษณะอินพุต

โปรดทราบว่ามีหลายรุ่นที่จัดการงานดึงคุณสมบัติด้วยตนเอง ตัวอย่างบางส่วน: การเจริญเติบโตประสาทแก๊สเครือข่าย(Fritzke, 1995) , เชือก(Tibshirani 2011) , RFE SVM (เซง, เฉิน, เต่า, 2009) , ต้นไม้ตัดสินใจ(ควินแลน, 1986)

อ้างอิง:

• Kenji Kira และ Larry A. Rendell 1992. วิธีการปฏิบัติในการเลือกคุณสมบัติ ในการประชุมเชิงปฏิบัติการระดับนานาชาติครั้งที่เก้าเรื่องการเรียนรู้ด้วยเครื่อง (ML92), Derek Sleeman และ Peter Edwards (Eds.) Morgan Kaufmann Publishers Inc. , ซานฟรานซิสโก, แคลิฟอร์เนีย, สหรัฐอเมริกา, 249-256

• ฮอลล์แมสซาชูเซต; Holmes, G. , "เทคนิคการเลือกการเปรียบเทียบคุณสมบัติสำหรับการทำเหมืองข้อมูลแบบแยกชั้น" ความรู้และข้อมูลวิศวกรรม, ธุรกรรม IEEE ในวันที่ 15, ฉบับที่ 6, หน้า 14,1447, พ.ย. 14 ธ.ค. 2003

• Isabelle Guyon และAndré Elisseeff 2003. ความรู้เบื้องต้นเกี่ยวกับการเลือกตัวแปรและคุณสมบัติ เจมัค เรียน Res 3 (มีนาคม 2546), 1157-1182

• Ralf Stecking, Klaus B. Schebesch 2005. การเลือกกลุ่มย่อยแบบแปรผันสำหรับการให้คะแนนเครดิตด้วยเครื่องเวกเตอร์สนับสนุน, การดำเนินการวิจัยการดำเนินงานปี 2005, Heidelberg Springer Berlin, (2005), pp.251-256

• Hillion, A .; Masson, P .; Roux, C. , "วิธีการแบบไม่พารามิเตอร์เพื่อแยกคุณลักษณะแบบเส้นตรง, การประยุกต์ใช้การจำแนกพื้นผิวสังเคราะห์แบบไบนารี," การจดจำรูปแบบ, 1988. , การประชุมระหว่างประเทศครั้งที่ 9 ในฉบับที่, หมายเลข., หน้า 1036,1039 vol.2, 14 -17 พ.ย. 2531

• การลดขนาดแบบไม่เชิงเส้นโดยการฝังเชิงเส้นในพื้นที่ Sam Roweis & Lawrence Saul วิทยาศาสตร์, v.290 no.5500, Dec.22, 2000. pp.2323--2326

• Amarel, S. (1968) ในการเป็นตัวแทนของปัญหาการใช้เหตุผลเกี่ยวกับการกระทำ, Machine Intelligence, (3), 131--171

• Peng, H .; ฟูลมีลอง; Ding, C. , "การเลือกคุณสมบัติตามเกณฑ์ข้อมูลร่วมกันของการพึ่งพาสูงสุด, ความเกี่ยวข้องสูงสุดและความซ้ำซ้อนต่ำสุด" การวิเคราะห์รูปแบบและความฉลาดของเครื่องจักร, ธุรกรรม IEEE บน, vol.27, no.8, pp.1226, 1238, ส.ค. 2005

• Richard R. Picard และ R. Dennis Cook, วารสารสมาคมสถิติอเมริกันเล่มที่ 5 79, ไม่ 387 (ก.ย. , 1984), pp. 575-583

• บนเส้นและระนาบที่ใกล้เคียงที่สุดกับระบบของคะแนนในนิตยสาร Philosophical Space, Vol. 2, ลำดับที่ 6 (1901), pp. 559-572 โดย K. Pearson

• เครือข่ายก๊าซที่กำลังเติบโตเรียนรู้โทโพโลยี, Bernd Fritzke, การประชุม: ระบบประมวลผลข้อมูลประสาท - NIPS, pp. 625-632, 1994

• การหดตัวและการเลือกการถดถอยผ่านบ่วงบาศ: Robert Tibshirani ซึ่งเป็นวารสารย้อนหลังวารสารสมาคมสถิติซีรีย์ B, 2011, vol. 73, ปัญหา 3, หน้า 273-282

• เซียงหยานเซง; Yen-wei Chen; Caixia Tao; Van Alphen, D. , "การเลือกคุณสมบัติโดยใช้การกำจัดคุณสมบัติแบบเรียกซ้ำสำหรับการรู้จำลายมือที่เป็นลายมือ," การซ่อนข้อมูลอัจฉริยะและการประมวลผลสัญญาณมัลติมีเดีย, 2009. IIH-MSP '09 การประชุมนานาชาติครั้งที่ห้าในปีที่, ฉบับที่, หน้า 150, 1208, 12-14 กันยายน 2552

• JR Quinlan 2529. การเหนี่ยวนำต้นไม้ตัดสินใจ จักร เรียน 1, 1 (มีนาคม 2529), 81-106

ฉันไม่เคยทำแบบนี้มาก่อนและเห็นได้ชัดไม่ได้มีการเข้าถึงข้อมูลดังกล่าว แต่เป็นวิธีที่ดีอาจจะทำเช่นนี้จะผ่านการจัดกลุ่ม สำหรับพนักงานแต่ละคนเรามีเวกเตอร์ n- มิติซึ่งแต่ละมิติสอดคล้องกับงานที่แตกต่างกัน จากนั้นเราสามารถใช้การจัดกลุ่มเพื่อจัดกลุ่มพนักงานที่ "คล้ายกัน" เข้าด้วยกัน อย่างไรก็ตามสิ่งนี้จะขึ้นอยู่กับข้อมูลของคุณ แต่เพียงผู้เดียวนั่นคือเป็นไปได้ค่อนข้างมากที่มีพนักงานเพียง 1,000 คนเท่านั้นที่การรวมกลุ่มจะให้ผลตอบแทนแก่กลุ่มพนักงานที่ไม่ได้เกี่ยวข้องกันทั้งหมดและขณะที่เราอาจลดจำนวนประชากรลง อาจมีค่าใช้จ่ายในการสูญหายของข้อมูล