มีมาตรฐานใดสำหรับการเปรียบเทียบรันไทม์ที่ทดลอง

สถานการณ์ของฉัน

ฉันกำลังเขียนบทความที่นำเสนอโมดูลซอฟต์แวร์ที่ฉันพัฒนาและฉันต้องการเปรียบเทียบรันไทม์ของมันกับโมดูลอื่นสำหรับงานเดียวกัน ฉันตระหนักถึงข้อเสียของการทดสอบรันไทม์แต่โปรดสมมติว่าไม่มีทางแก้ไขในกรณีของฉัน (ฉันสามารถและอนุมานคุณสมบัติบางอย่างในทางทฤษฎี แต่มันก็ไม่พอเพียงสำหรับทุกสิ่ง)

สถานการณ์ที่เฉพาะเจาะจงฉันต้องการที่จะใช้สำหรับการเปรียบเทียบมีสองพารามิเตอร์: ความซับซ้อน ของปัญหาและเมล็ดสุ่ม ซึ่งกำหนดปัญหารายละเอียด ส่วนใหญ่ผมต้องการที่จะแสดงให้เห็นการพึ่งพา  nโดยการตรวจสอบเบื้องต้นและทฤษฎีอิทธิพลของต่อรันไทม์มีน้อยหรือไม่สำคัญ งานเดียวใช้เวลาดำเนินการไม่เกินสิบนาที$n$$r$$n$$r$

คำถามจริง

ฉันกำลังมองหาขั้นตอนที่เป็นที่ยอมรับหรือเผยแพร่โดยทั่วไปเกี่ยวกับการดำเนินการทดลองดังกล่าวหรืออย่างน้อยรายการของข้อผิดพลาดทั่วไป

สิ่งที่ฉันพบจนถึง

ไม่มีอะไร การค้นหาทางอินเทอร์เน็ตทำให้เกิดผลลัพธ์ที่ไม่เกี่ยวข้องทั้งหมด แต่ฉันอาจไม่ได้ใช้คำศัพท์ที่ถูกต้อง การรวมคำหลักขั้นต่ำซึ่งฉันรู้ว่าเป็นมาตรฐานที่ดี (ดูด้านล่าง) ก็ไม่ได้ช่วยอะไรเช่นกัน

ฉันจะทำอย่างไร

• ดำเนินการทดลองทั้งหมดในเครื่องเดียวกันด้วยซอฟต์แวร์ที่อาจรบกวนเช่น GUI ถูกปิดใช้งานเท่าที่จะทำได้

• ขึ้นอยู่กับโมดูลทั้งหมดในการเลือกสถานการณ์เดียวกันคือและ เดียวกัน$n$$r$

• สำหรับแต่ละสถานการณ์ทดสอบโมดูลต่าง ๆ โดยตรงหลังจากกันตามลำดับแบบสุ่ม ด้วยคำอื่น ๆ การวนรอบโมดูลที่ต่างกันนั้นเป็นส่วนที่อยู่ด้านในสุด สิ่งนี้ควรหลีกเลี่ยงอคติกับโมดูลที่แตกต่างกันเนื่องจากความผันผวนของประสิทธิภาพของเครื่องช้า (เช่นเนื่องจากการเปลี่ยนแปลงของอุณหภูมิ) ลำดับแบบสุ่มควรหลีกเลี่ยงอคติผ่านเอฟเฟกต์เช่นการแคชหรือหนึ่งโมดูลที่ถูกทดสอบเสมอหลังจากที่เดียวกัน

• สำหรับแต่ละให้ใช้เวลารันไทม์ขั้นต่ำในหลาย ๆ สถานการณ์ด้วยเมล็ดที่แตกต่างกันเป็นเกณฑ์มาตรฐาน สิ่งนี้ควรหลีกเลี่ยงอคติกับโมดูลที่แตกต่างกันเนื่องจากความผันผวนของประสิทธิภาพการทำงานของเครื่องในระยะเวลาอันสั้น$n$

CC McGeoch ของ "คำแนะนำเกี่ยวกับอัลกอริทึมทดลอง" เป็นการอ้างอิงที่ดีสำหรับ

• วิธีตั้งค่าการทดสอบเกี่ยวกับอัลกอริทึม
• วิธีตีความและใช้ผลลัพธ์และ
• วิธีการวนซ้ำไปสู่ผลลัพธ์ที่มีความหมายมากขึ้นถ้าจำเป็น

นอกเหนือจากเวลาที่ผ่านไปสำหรับการรันแต่ละครั้งรายงานวินาทีของโหมดผู้ใช้ & ระบบและแพ็กเก็ต IP ทั้งหมดและดิสก์ I / Os ทั้งหมดหากเพียงเพื่อตรวจสอบว่ามีบางหมายเลข "ต่ำ" อย่างสม่ำเสมอและมีผลกระทบเล็กน้อยต่อเวลาที่ผ่านไป

ในhttps://wiki.freebsd.org/BenchmarkAdvice PHK และอื่น ๆ ให้คำแนะนำที่ดีรวมถึง

ใช้กระทรวงเพื่อดูว่าหมายเลขของคุณสำคัญหรือไม่ ลองซื้อ "คู่มือการ์ตูนเกี่ยวกับสถิติ"