ดำเนินการทดสอบหน่วยตามลำดับ (แทนที่จะทำแบบขนาน)

ฉันกำลังพยายามทดสอบหน่วยเครื่องมือจัดการโฮสต์ WCF ที่ฉันเขียน โดยทั่วไปเอ็นจิ้นจะสร้างอินสแตนซ์ ServiceHost ในทันทีตามการกำหนดค่า สิ่งนี้ช่วยให้เราสามารถกำหนดค่าบริการใหม่ได้แบบไดนามิกโดยไม่ต้องนำบริการทั้งหมดลงและเริ่มการทำงานใหม่เมื่อใดก็ตามที่มีการเพิ่มบริการใหม่หรือบริการเก่าถูกลบออก

ฉันประสบปัญหาในการทดสอบหน่วยเครื่องมือการจัดการโฮสต์นี้อย่างไรก็ตามเนื่องจากวิธีการทำงานของ ServiceHost หากมีการสร้าง ServiceHost แล้วเปิดและยังไม่ได้ปิดสำหรับปลายทางเฉพาะจะไม่สามารถสร้าง ServiceHost อื่นสำหรับจุดสิ้นสุดเดียวกันได้ซึ่งส่งผลให้เกิดข้อยกเว้น เนื่องจากความจริงที่ว่าแพลตฟอร์มการทดสอบหน่วยที่ทันสมัยขนานกับการดำเนินการทดสอบฉันจึงไม่มีวิธีที่มีประสิทธิภาพในการทดสอบหน่วยของโค้ดนี้

ฉันใช้ xUnit.NET โดยหวังว่าเนื่องจากความสามารถในการขยายตัวของมันฉันจึงสามารถหาวิธีบังคับให้รันการทดสอบแบบอนุกรมได้ อย่างไรก็ตามฉันไม่มีโชคเลย ฉันหวังว่าใครบางคนที่นี่ใน SO พบปัญหาที่คล้ายกันและรู้วิธีรับการทดสอบหน่วยเพื่อเรียกใช้แบบอนุกรม

หมายเหตุ: ServiceHostเป็นคลาส WCF ซึ่งเขียนโดย Microsoft ฉันไม่มีความสามารถที่จะเปลี่ยนพฤติกรรมได้ การโฮสต์แต่ละจุดสิ้นสุดของบริการเพียงครั้งเดียวก็เป็นพฤติกรรมที่เหมาะสมเช่นกัน ... อย่างไรก็ตามไม่ได้เอื้อต่อการทดสอบหน่วยโดยเฉพาะ

การทดสอบแต่ละคลาสเป็นคอลเล็กชันการทดสอบที่ไม่ซ้ำกันและการทดสอบจะทำงานตามลำดับดังนั้นหากคุณใส่การทดสอบทั้งหมดในคอลเลคชันเดียวกันการทดสอบจะทำงานตามลำดับ

ใน xUnit คุณสามารถทำการเปลี่ยนแปลงต่อไปนี้เพื่อให้บรรลุสิ่งนี้:

ต่อไปนี้จะทำงานคู่ขนาน:

namespace IntegrationTests
{
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

ในการทำให้เป็นลำดับคุณต้องใส่ทั้งสองคลาสทดสอบภายใต้คอลเลคชันเดียวกัน:

namespace IntegrationTests
{
    [Collection("Sequential")]
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    [Collection("Sequential")]
    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

สำหรับข้อมูลเพิ่มเติมคุณสามารถอ้างอิงได้จากลิงค์นี้

สำคัญ: คำตอบนี้ใช้กับ. NET Framework สำหรับหลัก dotnet ดูคำตอบ Dimitry xunit.runner.jsonเกี่ยวกับ

การทดสอบหน่วยที่ดีทั้งหมดควรแยกได้ 100% การใช้สถานะร่วมกัน (เช่นขึ้นอยู่กับstaticคุณสมบัติที่แก้ไขโดยการทดสอบแต่ละครั้ง) ถือเป็นการปฏิบัติที่ไม่ดี

ต้องบอกว่าคำถามของคุณเกี่ยวกับการเรียกใช้การทดสอบ xUnit ตามลำดับมีคำตอบ! ฉันพบปัญหาเดียวกันทุกประการเนื่องจากระบบของฉันใช้ตัวระบุตำแหน่งบริการแบบคงที่ (ซึ่งน้อยกว่าที่เหมาะสม)

โดยค่าเริ่มต้น xUnit 2.x จะรันการทดสอบทั้งหมดพร้อมกัน สิ่งนี้สามารถแก้ไขได้ต่อแอสเซมบลีโดยกำหนดCollectionBehaviorใน AssemblyInfo.cs ของคุณในโครงการทดสอบของคุณ

สำหรับการใช้งานแยกแต่ละชุด:

using Xunit;
[assembly: CollectionBehavior(CollectionBehavior.CollectionPerAssembly)]

หรือไม่มีการขนานเลยให้ใช้:

[assembly: CollectionBehavior(DisableTestParallelization = true)]

อย่างหลังน่าจะเป็นแบบที่คุณต้องการ ข้อมูลเพิ่มเติมเกี่ยวกับ parallelisation และการกำหนดค่าที่สามารถพบได้ในเอกสาร xUnit

สำหรับโครงการ. NET Core ให้สร้างxunit.runner.jsonด้วย:

{
  "parallelizeAssembly": false,
  "parallelizeTestCollections": false
}

นอกจากนี้คุณcsprojควรมี

<ItemGroup>
  <None Update="xunit.runner.json"> 
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </None>
</ItemGroup>

สำหรับโครงการ. Net Core แบบเก่าคุณproject.jsonควรมีไฟล์

"buildOptions": {
  "copyToOutput": {
    "include": [ "xunit.runner.json" ]
  }
}

สำหรับโครงการ .NET หลักคุณสามารถกำหนดค่า xUnit กับxunit.runner.jsonไฟล์เป็นเอกสารที่https://xunit.github.io/docs/configuring-with-json.html

การตั้งค่าที่คุณต้องเปลี่ยนเพื่อหยุดการดำเนินการทดสอบแบบขนานคือparallelizeTestCollectionsค่าเริ่มต้นเป็นtrue:

ตั้งค่านี้เป็นtrueหากแอสเซมบลีเต็มใจที่จะทำการทดสอบภายในชุดประกอบนี้โดยขนานกัน ... ตั้งค่านี้เพื่อfalseปิดใช้งานการขนานทั้งหมดภายในชุดทดสอบนี้

ประเภทสคีมา JSON: บูลีน
ค่าดีฟอลต์:true

ดังนั้นน้อยที่สุดxunit.runner.jsonสำหรับจุดประสงค์นี้ดูเหมือน

{
    "parallelizeTestCollections": false
}

ตามที่ระบุไว้ในเอกสารอย่าลืมรวมไฟล์นี้ไว้ในบิลด์ของคุณโดย:

• การตั้งค่าCopy to Output Directoryเพื่อคัดลอกถ้าใหม่กว่าในPropertiesของไฟล์ใน Visual Studio หรือ

• การเพิ่ม

  <Content Include=".\xunit.runner.json">
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </Content>
  

  ไปยัง.csprojไฟล์ของคุณหรือ

• การเพิ่ม

  "buildOptions": {
    "copyToOutput": {
      "include": [ "xunit.runner.json" ]
    }
  }
  

  ไปยังproject.jsonไฟล์ของคุณ

ขึ้นอยู่กับประเภทโครงการของคุณ

สุดท้ายนอกเหนือจากข้างต้นหากคุณใช้ Visual Studio ตรวจสอบให้แน่ใจว่าคุณไม่ได้คลิกปุ่มRun Tests In Parallelโดยไม่ได้ตั้งใจซึ่งจะทำให้การทดสอบทำงานแบบขนานแม้ว่าคุณจะปิดการใช้งานแบบขนานไปxunit.runner.jsonแล้วก็ตาม นักออกแบบ UI ของ Microsoft ได้สร้างปุ่มนี้ขึ้นมาอย่างมีเล่ห์เหลี่ยมซึ่งยากที่จะสังเกตเห็นและอยู่ห่างจากปุ่ม"เรียกใช้ทั้งหมด"ใน Test Explorer ประมาณหนึ่งเซนติเมตรเพียงเพื่อเพิ่มโอกาสที่คุณจะกดปุ่มโดยไม่ได้ตั้งใจ ล้มเหลวกะทันหัน:

นี่เป็นคำถามเก่า แต่ฉันต้องการเขียนวิธีแก้ปัญหาให้กับผู้ที่เพิ่งค้นหาเช่นฉัน :)

หมายเหตุ:ฉันใช้วิธีนี้ในการทดสอบการรวม Dot Net Core WebUI กับ xunit เวอร์ชัน 2.4.1

สร้างคลาสว่างชื่อ NonParallelCollectionDefinitionClass จากนั้นให้แอตทริบิวต์ CollectionDefinition กับคลาสนี้ตามด้านล่าง (ส่วนที่สำคัญคือการตั้งค่า DisableParallelization = true)

using Xunit;

namespace WebUI.IntegrationTests.Common
{
    [CollectionDefinition("Non-Parallel Collection", DisableParallelization = true)]
    public class NonParallelCollectionDefinitionClass
    {
    }
}

หลังจากนั้นให้เพิ่มแอตทริบิวต์คอลเลคชันลงในคลาสที่คุณไม่ต้องการให้ทำงานคู่ขนานดังต่อไปนี้ (ส่วนที่สำคัญคือชื่อคอลเลกชั่นต้องเหมือนกันกับชื่อที่ใช้ใน CollectionDefinition)

namespace WebUI.IntegrationTests.Controllers.Users
{
    [Collection("Non-Parallel Collection")]
    public class ChangePassword : IClassFixture<CustomWebApplicationFactory<Startup>>
    ...

เมื่อเราทำเช่นนี้ขั้นแรกจะทำการทดสอบคู่ขนานอื่น ๆ หลังจากนั้นการทดสอบอื่น ๆ ที่มีการเรียกใช้แอตทริบิวต์ Collection ("Non-Parallel Collection")

คุณสามารถใช้เพลย์ลิสต์

คลิกขวาที่วิธีทดสอบ -> เพิ่มลงในเพลย์ลิสต์ -> เพลย์ลิสต์ใหม่

จากนั้นคุณสามารถระบุลำดับการดำเนินการได้ค่าเริ่มต้นคือเมื่อคุณเพิ่มลงในรายการเล่น แต่คุณสามารถเปลี่ยนไฟล์เพลย์ลิสต์ได้ตามที่คุณต้องการ

ผมไม่ทราบรายละเอียด แต่ดูเหมือนคุณอาจจะพยายามที่จะทำการทดสอบการรวมมากกว่าการทดสอบหน่วย หากคุณสามารถแยกการพึ่งพาได้ServiceHostนั่นอาจทำให้การทดสอบของคุณง่ายขึ้น (และเร็วขึ้น) ดังนั้น (เช่น) คุณอาจทดสอบสิ่งต่อไปนี้โดยอิสระ:

• คลาสการอ่านการกำหนดค่า
• โรงงาน ServiceHost (อาจเป็นการทดสอบการรวม)
• คลาสเครื่องยนต์ที่ใช้IServiceHostFactoryและIConfiguration

เครื่องมือที่จะช่วยรวมเฟรมเวิร์กการแยก (จำลอง) และเฟรมเวิร์กคอนเทนเนอร์ IoC (เป็นทางเลือก) ดู:

• http://www.mockobjects.com/
• http://www.hanselman.com/blog/ListOfNETDependencyInjectionContainersIOC.aspx

บางทีคุณอาจใช้การทดสอบหน่วยขั้นสูงก็ได้ จะช่วยให้คุณกำหนดลำดับที่คุณใช้ทดสอบ ดังนั้นคุณอาจต้องสร้างไฟล์ cs ใหม่เพื่อโฮสต์การทดสอบเหล่านั้น

นี่คือวิธีที่คุณสามารถดัดวิธีทดสอบให้ทำงานตามลำดับที่คุณต้องการ

[Test]
[Sequence(16)]
[Requires("POConstructor")]
[Requires("WorkOrderConstructor")]
public void ClosePO()
{
  po.Close();

  // one charge slip should be added to both work orders

  Assertion.Assert(wo1.ChargeSlipCount==1,
    "First work order: ChargeSlipCount not 1.");
  Assertion.Assert(wo2.ChargeSlipCount==1,
    "Second work order: ChargeSlipCount not 1.");
  ...
}

โปรดแจ้งให้เราทราบว่าได้ผลหรือไม่

สำหรับฉันในแอปพลิเคชัน. Net Core Console เมื่อฉันต้องการเรียกใช้วิธีการทดสอบ (ไม่ใช่คลาส) แบบซิงโครนัสวิธีแก้ปัญหาเดียวที่ใช้ได้ผลตามที่อธิบายไว้ในบล็อกนี้: xUnit: Control the Test Execution Order

ฉันได้เพิ่มแอตทริบิวต์[Collection ("Sequential")]ในคลาสพื้นฐาน:

    namespace IntegrationTests
    {
      [Collection("Sequential")]
      public class SequentialTest : IDisposable
      ...


      public class TestClass1 : SequentialTest
      {
      ...
      }

      public class TestClass2 : SequentialTest
      {
      ...
      }
    }

จนถึงตอนนี้คำตอบที่แนะนำยังไม่ได้ผลสำหรับฉัน ฉันมีแอพ dotnet core ที่มี XUnit 2.4.1 ฉันทำพฤติกรรมที่ต้องการได้สำเร็จด้วยวิธีแก้ปัญหาโดยใส่ตัวล็อกในการทดสอบแต่ละหน่วยแทน ในกรณีของฉันฉันไม่สนใจเกี่ยวกับการเรียกใช้คำสั่งเพียง แต่การทดสอบนั้นเป็นไปตามลำดับ

public class TestClass
{
    [Fact]
    void Test1()
    {
        lock (this)
        {
            //Test Code
        }
    }

    [Fact]
    void Test2()
    {
        lock (this)
        {
            //Test Code
        }
    }
}