แนวปฏิบัติที่ดีที่สุดสำหรับโปรแกรมทดสอบที่มีพฤติกรรมสุ่มคืออะไร

เมื่อทำงานวิจัยและพัฒนาฉันมักพบว่าตัวเองกำลังเขียนโปรแกรมที่มีการสุ่มในระดับสูงในพฤติกรรมของพวกเขา ตัวอย่างเช่นเมื่อฉันทำงานในการเขียนโปรแกรมทางพันธุกรรมฉันมักจะเขียนโปรแกรมที่สร้างและรันซอร์สโค้ดแบบสุ่มโดยพลการ

ปัญหาเกี่ยวกับการทดสอบรหัสดังกล่าวคือข้อผิดพลาดมักจะเป็นระยะ ๆ และอาจเป็นเรื่องยากที่จะทำซ้ำ สิ่งนี้นอกเหนือไปจากการตั้งค่าเมล็ดพันธุ์แบบสุ่มเป็นค่าเดียวกันและเริ่มต้นการดำเนินการ

ตัวอย่างเช่นโค้ดอาจอ่านข้อความจาก kernal ring buffer จากนั้นทำการข้ามแบบมีเงื่อนไขกับเนื้อหาข้อความ ตามปกติสถานะของบัฟเฟอร์บัฟเฟอร์จะเปลี่ยนไปเมื่อพยายามทำซ้ำอีกครั้งในภายหลัง

แม้ว่าพฤติกรรมนี้เป็นคุณสมบัติที่สามารถเรียกใช้รหัสอื่นในวิธีที่ไม่คาดคิดและมักจะพบข้อบกพร่องที่หน่วยทดสอบ (หรือผู้ทดสอบมนุษย์) ไม่พบ

มีการกำหนดแนวปฏิบัติที่ดีที่สุดสำหรับระบบทดสอบประเภทนี้หรือไม่? ถ้าเป็นเช่นนั้นการอ้างอิงบางอย่างจะมีประโยชน์มาก ถ้าไม่คำแนะนำอื่น ๆ ยินดีต้อนรับ!

มันมีประโยชน์ในการเพิ่ม hooks ตามที่แนะนำเพื่อสร้างสถานะที่แน่นอน ติดตั้งระบบเพื่อให้สามารถทิ้ง "เมล็ด" ของมัน (ในกรณีของคุณรวมถึงเมล็ดพันธุ์ PRNG รวมถึงบัฟเฟอร์วงแหวนเคอร์เนลและแหล่งข้อมูลอื่น ๆ ของอินพุต nondeterministic)

จากนั้นเรียกใช้การทดสอบของคุณด้วยการป้อนข้อมูลแบบสุ่มจริงและสไตล์การถดถอยกับกรณีที่น่าสนใจที่ค้นพบก่อนหน้านี้

ในกรณีเฉพาะของการเข้าถึงเคอร์เนลฉันขอแนะนำให้ทำการจำลองในกรณีใด ๆ ใช้การเยาะเย้ยเพื่อบังคับให้คลาสเทียบเท่าที่มีโอกาสน้อยที่จะปรากฏขึ้นในทางปฏิบัติในจิตวิญญาณของ "ว่างเปล่า" และ "เต็ม" สำหรับภาชนะบรรจุหรือ "0, 1, 2 ^ n, 2 ^ n + 1, หลาย" สำหรับ สิ่งที่นับได้ จากนั้นคุณสามารถทดสอบกับจำลองและของจริงโดยรู้ว่าคุณได้จัดการและทดสอบเคสที่คุณเคยคิดมาแล้ว

โดยพื้นฐานแล้วสิ่งที่ฉันแนะนำให้ใช้ในการผสมระหว่างปัจจัยเข้าที่กำหนดขึ้นและ nondeterministic กับสิ่งที่กำหนดขึ้นมานั้นเป็นส่วนผสมของสิ่งที่คุณคิดและสิ่งที่คุณรู้สึกประหลาดใจ

สิ่งหนึ่งที่สมเหตุสมผลที่ต้องทำคือการหว่านตัวสร้างตัวเลขสุ่มด้วยค่าคงที่สำหรับการทดสอบเพื่อให้คุณได้รับพฤติกรรมที่กำหนดไว้

ฉันคิดว่าการทดสอบทางสถิติเป็นวิธีเดียว เช่นเดียวกับการสุ่มตัวเลข "ทดสอบ" สำหรับการสุ่มโดยการทดสอบทางสถิติดังนั้นจำเป็นต้องมีอัลกอริทึมที่ใช้พฤติกรรมแบบสุ่ม

เพียงใช้อัลกอริทึมหลาย ๆ ครั้งด้วยอินพุตเดียวกันหรือต่างกันและเปรียบเทียบกัน ปัญหาของวิธีนี้คือต้องใช้เวลาในการคำนวณเพิ่มขึ้นอย่างมากเพื่อให้การทดสอบเสร็จสิ้น

ฉันไม่ใช่ผู้เชี่ยวชาญในโดเมนนี้ แต่มีครอกวิทยาศาสตร์ที่เกี่ยวข้องกับการทดสอบโปรแกรมสุ่ม

หากคุณไม่สามารถสร้างคลาสการทดสอบได้อย่างง่ายดายสามารถใช้การทดสอบเชิงสถิติได้เช่น #Euphoric กล่าว Borning และคณะ เปรียบเทียบวิธีการแบบดั้งเดิมและวิธีทางสถิติ การวางนัยของการทดสอบทางสถิติที่แนะนำโดย @Euphoric อาจเป็นการทดสอบที่ Whittaker พูดถึง เขาแนะนำให้สร้างแบบจำลองสุ่มของพฤติกรรมที่ต้องการ (สุ่มในกรณีของคุณ) แล้วสร้างกรณีทดสอบเฉพาะจากรุ่นนี้ (ดูกระดาษเฉพาะของเขา )