Jenkins - วิธีการค้นหาที่ทดสอบล้มเหลวซ้ำแล้วซ้ำอีก

ฉันใหม่กับ CI และเจนกินส์ ฉันมีโครงการ Java ที่รันการทดสอบอัตโนมัติ Testng บนบริการเว็บ การทดสอบระบบอัตโนมัติทำงานเป็นประจำใน Jenkins บางครั้งงานล้มเหลวซ้ำแล้วซ้ำอีกเป็นเวลานาน แต่ในการทดสอบแต่ละครั้งจำนวนความล้มเหลวในการทดสอบจะแตกต่างกัน ฉันต้องการดูว่าการทดสอบใดล้มเหลวซ้ำหลายครั้งในช่วง 5 ครั้งสุดท้าย ด้วยสิ่งนี้ฉันสามารถลดจำนวนความล้มเหลวในการทดสอบที่ฉันต้องตรวจสอบ ความล้มเหลวที่ไม่ได้ทำซ้ำทั้งหมดในการทำงาน 5 ครั้งล่าสุดอาจถูกละเว้นหรือตรวจสอบในภายหลัง

ใครช่วยกรุณาแนะนำวิธีที่ฉันสามารถค้นหาการทดสอบที่ล้มเหลวซ้ำแล้วซ้ำอีกในการทำงานที่ผ่านมา N?

คุณสามารถใช้จำนวนครั้งที่การทดสอบล้มเหลวจากวัตถุของบิลด์ในไพพ์ไลน์: คุณสามารถสร้างรายงานขนาดเล็กและแนบกับบิลด์ของคุณได้

@NonCPS
def getRepeatedlyFailingTests(int timesFailedAtLeast = 2) {
  currentBuild.rawBuild.getAction(hudson.tasks.junit.TestResultAction.class)
    .getFailedTests()
    // Keep only tests that failed at least twice
    .findAll { it.age >= timesFailedAtLeast }
    .collect { [ "${it.className}.${it.name}".trim(), it.age ] }
}

def saveRepeatedlyFailingTestsReport() {
  def header = [ "test", "times-failed" ]
  def records = getRepeatedlyFailingTests()
  def report = "repeatedly-failing-tests.csv"
  writeCSV file: report, records: [ header ] + records, format: CSVFormat.EXCEL
  archiveArtifacts report
}

โทรsaveRepeatedlyFailingTestsReportหลังจากที่คุณรวบรวมผลการทดสอบของคุณแล้วคุณจะเห็นรายงานในลิงค์ส่วนสร้างล่าสุดของคุณ

คุณสามารถใช้ปลั๊กอินตัววิเคราะห์ผลลัพธ์การทดสอบจากเจนกินส์เพื่อวิเคราะห์แนวโน้มของการทดสอบ

ทดสอบปลั๊กอินตัววิเคราะห์ผลลัพธ์

วิดีโอสอนจาก youtube

การติดตั้ง :

1. ในแผงควบคุมของเจนกินส์คลิกที่จัดการเจนกินส์
2. จากเมนูเลือกจัดการปลั๊กอิน
3. คลิกที่แท็บที่มีอยู่และตัววิเคราะห์อินพุตในกล่องค้นหาตัวกรอง
4. คลิกกล่องกาไปทางซ้ายของผลการทดสอบวิเคราะห์และคลิกติดตั้งโดยไม่ต้องรีสตาร์ทปุ่ม

การใช้งาน :

1. ไปที่โครงการและคลิกที่กำหนดค่า
2. ไปที่ส่วน การดำเนินการสร้างภายหลังและเลือกเผยแพร่รายงานผลการทดสอบ JUnitจากดรอปดาวน์แอ็คชันเพิ่มการสร้างภายหลัง
3. ในฟิลด์รายงานการทดสอบ XML ให้เส้นทางของ TestNg / JUnit xml ในโครงการ ตัวอย่างเช่น - **/target/test-results/*.xmlในกรณีของฉัน
4. บันทึกการกำหนดค่า
5. จากนั้นหลังจากการสร้างที่ประสบความสำเร็จให้ไปที่โครงการของคุณแล้วคลิกที่ตัววิเคราะห์ผลลัพธ์การทดสอบที่เมนูด้านซ้าย