เร่งการทดสอบ RSpec ในแอปพลิเคชัน Rails ขนาดใหญ่

ฉันมีแอปพลิเคชัน Rails ที่มีตัวอย่างมากกว่า 2,000 ตัวอย่างในการทดสอบ RSpec ของฉัน ไม่จำเป็นต้องพูดว่ามันเป็นแอปพลิเคชั่นขนาดใหญ่และมีอะไรให้ทดสอบมากมาย การเรียกใช้การทดสอบเหล่านี้ ณ จุดนี้ไม่มีประสิทธิภาพมากและเนื่องจากใช้เวลานานมากเราจึงเกือบจะหมดกำลังใจที่จะเขียนก่อนที่จะผลักดันงานสร้างใหม่ ฉันเพิ่ม - profile ใน spec.opts ของฉันเพื่อค้นหาตัวอย่างที่ทำงานได้ยาวนานที่สุดและมีอย่างน้อย 10 ตัวที่ใช้เวลาโดยเฉลี่ย 10 วินาทีในการรัน เป็นเรื่องปกติในหมู่ผู้เชี่ยวชาญ RSpec หรือไม่? 10 วินาทีนานเกินไปสำหรับตัวอย่างเดียวหรือไม่ ฉันตระหนักดีว่าด้วยตัวอย่าง 2,000 ตัวอย่างการทดสอบทุกอย่างอย่างละเอียดจะต้องใช้เวลาไม่น้อย แต่ ณ จุดนี้ 4 ชั่วโมงเป็นเรื่องที่น่าหัวเราะเล็กน้อย

คุณเห็นช่วงเวลาแบบใดสำหรับตัวอย่างที่ทำงานยาวนานที่สุด ฉันจะทำอย่างไรเพื่อแก้ปัญหาข้อกำหนดที่มีอยู่เพื่อหาปัญหาคอขวดและช่วยเร่งความเร็ว ทุกนาทีจะช่วยในจุดนี้ได้จริงๆ

10 วินาทีเป็นเวลาที่ยาวนานมากสำหรับการทดสอบเพียงครั้งเดียว ความรู้สึกของฉันคือเป้าหมายข้อมูลจำเพาะของคุณกำลังเรียกใช้การทดสอบทั้งหน่วยและการรวมในเวลาเดียวกัน นี่เป็นเรื่องปกติที่โครงการจะตกอยู่ในและในบางขั้นตอนคุณจะต้องเอาชนะหนี้ทางเทคนิคนี้หากคุณต้องการผลิตมากขึ้นเร็วขึ้น มีกลยุทธ์หลายอย่างที่ช่วยให้คุณทำสิ่งนี้ได้ ... และฉันจะแนะนำบางส่วนที่ฉันเคยใช้ในอดีต

1. แยกหน่วยจากการทดสอบการรวม

สิ่งแรกที่ฉันจะทำคือแยกหน่วยออกจากการทดสอบการรวม คุณสามารถทำได้โดย:

1. การย้าย (ลงในโฟลเดอร์แยกต่างหากภายใต้ไดเร็กทอรีข้อมูลจำเพาะ) - และการปรับเปลี่ยนเป้าหมายคราด
2. การติดแท็ก (rspec ช่วยให้คุณสามารถติดแท็กการทดสอบของคุณ)

ปรัชญากล่าวว่าคุณต้องการให้งานสร้างปกติของคุณเป็นไปอย่างรวดเร็วมิฉะนั้นผู้คนจะไม่พอใจที่จะเรียกใช้บ่อยๆ ดังนั้นกลับไปที่ดินแดนนั้น รับการทดสอบปกติของคุณเพื่อรันอย่างรวดเร็วและใช้เซิร์ฟเวอร์การรวมแบบต่อเนื่องเพื่อรันบิลด์ที่สมบูรณ์ยิ่งขึ้น

การทดสอบการรวมคือการทดสอบที่เกี่ยวข้องกับการอ้างอิงภายนอก (เช่นฐานข้อมูล, WebService, คิวและบางส่วนอาจโต้แย้ง FileSystem) การทดสอบหน่วยจะเป็นการทดสอบรายการรหัสเฉพาะที่คุณต้องการตรวจสอบ ควรทำงานเร็ว (9000 ใน 45 วินาทีเป็นไปได้) กล่าวคือส่วนใหญ่ควรทำงานในหน่วยความจำ

2. แปลงการทดสอบการรวมเป็นการทดสอบหน่วย

หากการทดสอบหน่วยจำนวนมากของคุณมีขนาดเล็กกว่าชุดทดสอบการรวมระบบแสดงว่าคุณมีปัญหา สิ่งนี้หมายความว่าความไม่สอดคล้องกันจะเริ่มปรากฏได้ง่ายขึ้น จากตรงนี้ให้เริ่มสร้างการทดสอบหน่วยเพิ่มเติมเพื่อแทนที่การทดสอบการรวม สิ่งที่คุณสามารถทำได้เพื่อช่วยในกระบวนการนี้ ได้แก่

1. ใช้กรอบการเยาะเย้ยแทนทรัพยากรจริง Rspec มีกรอบการเยาะเย้ยในตัว
2. เรียกใช้ rcov บนชุดทดสอบหน่วยของคุณ ใช้เพื่อวัดว่าชุดทดสอบหน่วยของคุณละเอียดเพียงใด

เมื่อคุณมีการทดสอบหน่วยที่เหมาะสมเพื่อแทนที่การทดสอบการรวม - ลบการทดสอบการรวม การทดสอบซ้ำจะทำให้การบำรุงรักษาแย่ลงเท่านั้น

3. อย่าใช้อุปกรณ์ติดตั้ง

การแข่งขันเป็นสิ่งชั่วร้าย ใช้โรงงานแทน (ช่างเครื่องหรือ Factorybot) ระบบเหล่านี้สามารถสร้างกราฟข้อมูลที่ปรับเปลี่ยนได้มากขึ้นและที่สำคัญกว่านั้นคือสามารถสร้างออบเจ็กต์ในหน่วยความจำที่คุณสามารถใช้ได้แทนที่จะโหลดสิ่งต่างๆจากแหล่งข้อมูลภายนอก

4. เพิ่มการตรวจสอบเพื่อหยุดการทดสอบหน่วยเป็นการทดสอบการรวม

ตอนนี้คุณมีการทดสอบที่เร็วขึ้นแล้วเวลาในการตรวจสอบเพื่อหยุดสิ่งนี้ไม่ให้เกิดขึ้นอีก

มีไลบรารีที่มี Monkey patch active record เพื่อส่งข้อผิดพลาดเมื่อพยายามเข้าถึงฐานข้อมูล (UnitRecord)

คุณสามารถลองจับคู่และ TDD ซึ่งสามารถช่วยบังคับให้ทีมของคุณเขียนแบบทดสอบได้เร็วขึ้นเนื่องจาก:

1. มีคนตรวจสอบ - ไม่มีใครขี้เกียจ
2. TDD ที่เหมาะสมต้องการการตอบรับที่รวดเร็ว การทดสอบอย่างช้าๆทำให้ทุกอย่างเจ็บปวด

5. ใช้ไลบรารีอื่นเพื่อเอาชนะปัญหา

มีคนกล่าวถึง spork (เพิ่มความเร็วในการโหลดชุดทดสอบใต้ราง 3), hydra / parallel_tests - เพื่อเรียกใช้การทดสอบหน่วยแบบขนาน (ในหลายคอร์)

ควรใช้ LAST ปัญหาที่แท้จริงของคุณอยู่ในขั้นตอนที่ 1, 2, 3 แล้วคุณจะอยู่ในตำแหน่งที่ดีขึ้นในการกำหนดบทบาทของโครงสร้างพื้นฐานเพิ่มเติม

สำหรับตำราอาหารที่ยอดเยี่ยมในการปรับปรุงประสิทธิภาพชุดทดสอบของคุณโปรดดูการนำเสนอGrease Your Suite

เขาจัดทำเอกสารเร่งความเร็ว 45 เท่าในเวลาทำงานของชุดทดสอบโดยใช้เทคนิคต่างๆเช่น:

• fast_context
• Quickerclip
• ไฮดรา
• การปรับแต่งระบบไฟล์ที่น่ากลัว
• tcmalloc
• การปรับแต่ง GC ของ Ruby Enterprise Edition

คุณสามารถใช้ Spork รองรับ 2.3.x,

https://github.com/sporkrb/spork

หรือ. /script/spec_server ซึ่งอาจใช้ได้กับ 2.x

นอกจากนี้คุณยังสามารถแก้ไขการกำหนดค่าฐานข้อมูล (ซึ่งโดยพื้นฐานแล้วการสืบค้นฐานข้อมูลจะเร็วขึ้นเป็นต้น) ซึ่งจะช่วยเพิ่มประสิทธิภาพในการทดสอบด้วย

10 วินาทีต่อตัวอย่างดูเหมือนจะนานมาก ฉันไม่เคยเห็นข้อมูลจำเพาะที่ใช้เวลามากกว่าหนึ่งวินาทีและส่วนใหญ่ใช้เวลาน้อยกว่านี้มาก คุณกำลังทดสอบการเชื่อมต่อเครือข่ายหรือไม่ ฐานข้อมูลเขียน? ระบบไฟล์เขียน?

ใช้ mocks และสมบูรณ์มากที่สุดเท่าที่เป็นไปได้ - พวกเขามีมากเร็วกว่าการเขียนโค้ดที่นิยมฐานข้อมูล น่าเสียดายที่การล้อเลียนและการเขียนขื่อต้องใช้เวลามากกว่าในการเขียน (และยากที่จะทำอย่างถูกต้อง) คุณต้องสร้างสมดุลระหว่างเวลาที่ใช้ในการเขียนแบบทดสอบกับเวลาที่ใช้ในการทดสอบ

ฉันสองความคิดเห็นของAndrew Grimmเกี่ยวกับการดูระบบ CI ซึ่งอาจช่วยให้คุณสามารถขนานชุดทดสอบของคุณได้ สำหรับบางสิ่งบางอย่างที่มีขนาดนั้นอาจเป็นทางออกเดียวที่ทำงานได้

หลายคนได้กล่าวถึงไฮดราข้างต้น เราได้ใช้มันอย่างประสบความสำเร็จในอดีต เมื่อเร็ว ๆ นี้ฉันได้บันทึกขั้นตอนการเริ่มต้นและใช้งานไฮดรา: http://logicalfriday.com/2011/05/18/faster-rails-tests-with-hydra/

ฉันเห็นด้วยกับความเชื่อมั่นว่าไม่ควรใช้เทคนิคแบบนี้แทนการทดสอบการเขียนที่มีโครงสร้างดีและรวดเร็วโดยค่าเริ่มต้น

หากคุณใช้โมเดล ActiveRecord คุณควรพิจารณาต้นทุนของการเข้ารหัส BCrypt ด้วย

คุณสามารถอ่านเพิ่มเติมเกี่ยวกับเรื่องนี้ได้ในบล็อกโพสต์นี้: http://blog.syncopelabs.co.uk/2012/12/speed-up-rspec-test.html

Fast_require gem อาจช่วยคุณได้ นอกจากนั้นวิธีเดียวของคุณคือการ (เช่นเดียวกับที่คุณทำ) โปรไฟล์และเพิ่มประสิทธิภาพหรือใช้ spork หรือสิ่งที่เรียกใช้ข้อกำหนดของคุณควบคู่ไปกับคุณ http://ruby-toolbox.com/categories/distributed_testing.html

คุณสามารถทำตามเคล็ดลับง่ายๆเพื่อตรวจสอบก่อนว่าเวลาส่วนใหญ่จะใช้ไปไหนหากคุณยังไม่ได้ลองใช้ ดูบทความด้านล่าง:

https://blog.mavenhive.in/7-tips-to-speed-up-your-webdriver-tests-4f4d043ad581

ฉันเดาว่าส่วนใหญ่เป็นขั้นตอนทั่วไปซึ่งจะนำไปใช้โดยไม่คำนึงถึงเครื่องมือที่ใช้ในการทดสอบด้วย

ลบชุดทดสอบที่มีอยู่ จะได้ผลอย่างไม่น่าเชื่อ.