เปรียบเทียบสองอัลกอริทึมทางพันธุกรรม

ฉันมีการใช้งานของอัลกอริทึมทางพันธุกรรมสองอย่างซึ่งควรจะทำงานอย่างเท่าเทียมกัน อย่างไรก็ตามเนื่องจากข้อ จำกัด ทางเทคนิคที่ไม่สามารถแก้ไขผลลัพธ์ของพวกเขาไม่เหมือนกันได้รับการป้อนข้อมูลเดียวกัน

ฉันยังต้องการแสดงให้เห็นว่าไม่มีความแตกต่างด้านประสิทธิภาพที่สำคัญ

ฉันมีการวิ่ง 20 ครั้งโดยมีการกำหนดค่าเดียวกันสำหรับอัลกอริทึมแต่ละตัวโดยใช้การสุ่มหมายเลขเริ่มต้นแตกต่างกัน สำหรับการวิ่งและการสร้างแต่ละครั้งการออกกำลังกายข้อผิดพลาดขั้นต่ำ ของบุคคลที่ดีที่สุดในประชากรนั้นถูกบันทึกไว้ อัลกอริทึมใช้กลไกการรักษาแบบชนชั้นสูงดังนั้นความแข็งแรงของบุคคลที่ดีที่สุดจึงลดลงแบบซ้ำซาก การวิ่งประกอบด้วย 1000 รุ่นดังนั้นฉันมี 1,000 ค่าต่อการรัน ฉันไม่สามารถรับข้อมูลเพิ่มเติมได้เนื่องจากการคำนวณมีราคาแพงมาก

ฉันควรใช้การทดสอบแบบไหน วิธีง่าย ๆ น่าจะเป็นการเปรียบเทียบข้อผิดพลาดในรุ่นสุดท้าย (อีกครั้งฉันจะใช้แบบทดสอบแบบใด) แต่ก็อาจคิดเปรียบเทียบพฤติกรรมการคอนเวอร์เจนซ์โดยทั่วไป

การทดสอบอัลกอริธึมแบบสุ่มค่อนข้างยุ่งยาก!

ฉันทำงานในระบบชีววิทยาและมีเครื่องจำลองแบบสุ่มจำนวนมากเพื่อใช้ในการจำลองแบบ การทดสอบเครื่องจำลองเหล่านี้มีความยุ่งยากเนื่องจากการรับรู้สองแบบจากแบบจำลองเดียวจะแตกต่างกัน

ในdsmtsเราได้คำนวณ (วิเคราะห์) มูลค่าที่คาดหวังและความแปรปรวนของรูปแบบเฉพาะ จากนั้นเราทำการทดสอบสมมติฐานเพื่อตรวจสอบว่าเครื่องจำลองแตกต่างจากความจริงหรือไม่ มาตรา 3 แห่งUserGuideให้รายละเอียด โดยพื้นฐานแล้วเราทำการทดสอบแบบ t สำหรับค่าเฉลี่ยและการทดสอบไคสแควร์สำหรับความแปรปรวน

ในกรณีของคุณคุณกำลังเปรียบเทียบตัวจำลองสองตัวดังนั้นคุณควรใช้การทดสอบแบบสองตัวอย่างแทน

บางทีคุณอาจวัดความแตกต่างเฉลี่ยระหว่างการวิ่งของอัลกอริทึมเดียวกันกับความแตกต่างเฉลี่ยระหว่างการวิ่งทั้งสองจากอัลกอริทึมที่ต่างกัน ไม่ได้แก้ปัญหาวิธีการวัดความแตกต่างนั้น แต่อาจเป็นปัญหาที่ง่ายกว่า และค่าแต่ละค่าของอนุกรมเวลาจะป้อนเข้าสู่การคำนวณความแตกต่างแทนที่จะต้องได้รับการปฏิบัติเหมือนดาต้าพอยท์แต่ละอันเพื่อประเมินกันและกัน (ฉันไม่คิดว่าความแตกต่างเฉพาะในขั้นตอนที่ n คือสิ่งที่คุณต้องการ ทำงบเกี่ยวกับ)

อัปเดต รายละเอียดที่เกี่ยวข้อง - คุณลักษณะใดของซีรี่ส์เวลาที่คุณสนใจนอกเหนือจากข้อผิดพลาดสุดท้าย? ฉันเดาว่าคุณมีคำถามสามข้อที่แตกต่างกันเพื่อแก้ปัญหา:

1. อะไรที่มีความคล้ายคลึงกันสำหรับคุณเช่นคุณหมายถึงอะไรเมื่อคุณพูดว่าคุณไม่เชื่อว่าทั้งสองวิธีนั้นแตกต่างกันอย่างไร
2. คุณคำนวณปริมาณอย่างไร - สามารถตอบได้หลังจาก 1 และ
3. คุณจะทดสอบความแตกต่างที่สำคัญระหว่างสองวิธีได้อย่างไร

ทั้งหมดที่ฉันพูดในโพสต์แรกคือคำตอบของ (1) อาจไม่พิจารณาถึงความแตกต่างของแต่ละคนในแต่ละรุ่น 1,000 คน และผมขอแนะนำให้คิดค่าสเกลาร์สำหรับแต่ละอนุกรมเวลาหรืออย่างน้อยก็มีความคล้ายคลึงกันระหว่างอนุกรมเวลา จากนั้นคุณจะได้รับคำถามสถิติจริง (ซึ่งฉันรู้อย่างน้อยประมาณสามคะแนน แต่ฉันแนะนำให้ใช้การทดสอบแบบจับคู่ในคำถามที่คล้ายกันที่ฉันเพิ่งถามเมื่อมีค่าสเกลาร์ต่อองค์ประกอบ)