การใช้แอปพลิเคชันไคลเอนต์ Java ฉันกำลังสอบถามคิว SQS สำหรับข้อความ คิวมีข้อความ 12,000 ข้อความสำหรับการตั้งค่าการทดสอบ ฉันใช้ openJDK กับ aws-java-sdk ล่าสุด (software.amazon.awssdk 2.10.62) pom.xml แสดงต่อไป

ปัญหาที่ฉันเห็นคือแม้จะมีการตั้งค่าmaxNumberOfMessages (10)ฉันเคยได้รับ 3 ฉันเข้าใจว่ามันเป็นจำนวนสูงสุดที่ไม่รับประกันจำนวนข้อความอย่างไรก็ตามไม่มีการโอนกลับจำนวนข้อความ เป็น 3 เสมอ

เอกสาร AWS: MaxNumberOfMessages จำนวนข้อความสูงสุดที่จะส่งคืน Amazon SQS จะไม่ส่งคืนข้อความมากกว่าค่านี้ (อย่างไรก็ตามอาจมีการส่งคืนข้อความน้อยลง) ค่าที่ถูกต้อง: 1 ถึง 10 ค่าเริ่มต้น: 1. ประเภท: จำนวนเต็มที่ต้องการ: ไม่

การใช้ข้อความโดยใช้การสำรวจสั้น

เมื่อคุณใช้ข้อความจากคิวโดยใช้การโพลแบบสั้น Amazon SQS จะสุ่มเซ็ตย่อยของเซิร์ฟเวอร์ (ขึ้นอยู่กับการกระจายแบบสุ่มถ่วงน้ำหนัก) และส่งคืนข้อความจากเซิร์ฟเวอร์เหล่านั้นเท่านั้น ดังนั้นคำขอ ReceiveMessage เฉพาะอาจไม่ส่งคืนข้อความทั้งหมดของคุณ อย่างไรก็ตามหากคุณมีข้อความน้อยกว่า 1,000 ข้อความในคิวคำขอที่ตามมาจะส่งคืนข้อความของคุณ หากคุณบริโภคต่อเนื่องจากคิวของคุณ Amazon SQS จะสุ่มตัวอย่างเซิร์ฟเวอร์ทั้งหมดและคุณจะได้รับข้อความทั้งหมด

ดังนั้นเราจึงทดสอบสองไคลเอนต์ใน java โดยใช้ทั้ง aws sdk รุ่นเก่าและใหม่กว่าด้วยผลลัพธ์เดียวกัน กลับมาเพียง 3 ข้อความเสมอ

ที่น่าสนใจถ้าแทนที่จะเรียกใช้แอปพลิเคชันภายนอก (บนเดสก์ท็อปอันยิ่งใหญ่ของฉัน) คุณเรียกใช้เป็น AWS Lambda คุณจะได้รับ 10 ข้อความ การทดสอบแลมบ์ดานี้ทำได้โดยใช้ JavaScript โดยเพื่อนร่วมงาน

ดังนั้นคำถามยังคงอยู่ทำไมเราได้รับเพียง 3 ข้อความต่อคำขอและดูเหมือนว่าภายในแลมบ์ดาคุณจะได้รับ 10

รับมีค่าใช้จ่ายต่อการร้องขอคือการกระจายแบบสุ่มถ่วงน้ำหนักตามกำไร amazon =))

วิธีทดสอบ SQS:

public void SQStart()
{
    AwsBasicCredentials awsCreds = AwsBasicCredentials.create("accessKeyID", "secretKeyID");
    AwsCredentialsProvider creds = StaticCredentialsProvider.create(awsCreds);
    SqsClient sqs = SqsClient.builder().credentialsProvider(creds).region(Region.EU_WEST_1).build();
    GetQueueUrlRequest getQueueRequest = GetQueueUrlRequest.builder()
            .queueName(QUEUE_NAME)
            .build();
    String queueUrl = sqs.getQueueUrl(getQueueRequest).queueUrl();

    for (int x =1; x < 100; x++) {
        ReceiveMessageRequest receiveMessageRequest = ReceiveMessageRequest.builder()
                .queueUrl(queueUrl)
                .maxNumberOfMessages(10)
                .build();


        List<Message> messages = sqs.receiveMessage(receiveMessageRequest).messages();
        if (messages.size() > 3 ) {
            System.out.println("YEY More than 3 Messages: "+ messages.size());
        }
    }
}

pom.xml:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>groupId</groupId>
    <artifactId>SQSTest</artifactId>
    <version>1.0-SNAPSHOT</version>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>8</source>
                    <target>8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>


    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>software.amazon.awssdk</groupId>
                <artifactId>bom</artifactId>
                <version>2.10.62</version>
                <type>pom</type>
                <scope>import</scope>
            </dependency>
        </dependencies>
    </dependencyManagement>

    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>

            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>software.amazon.awssdk</groupId>
            <artifactId>sqs</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>4.5.9</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpcore</artifactId>
            <version>4.4.10</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>commons-logging</groupId>
            <artifactId>commons-logging</artifactId>
            <version>1.2</version>
        </dependency>
        <dependency>
            <groupId>com.amazonaws</groupId>
            <artifactId>aws-java-sdk-s3</artifactId>
            <version>1.11.720</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-simple</artifactId>
            <version>1.6.1</version>
        </dependency>
    </dependencies>
</project>

รับมีค่าใช้จ่ายต่อการร้องขอคือการกระจายแบบสุ่มถ่วงน้ำหนักตามกำไร amazon =))

เป็นที่ชัดเจนว่าเป้าหมายของคุณที่นี่คือลดค่าใช้จ่ายไม่ว่าจะเป็นการส่งคำขอไปยัง SQS น้อยลงหรือบังคับให้ SQS ส่งข้อความจำนวนสูงสุดที่มีให้

ตามที่คุณระบุไว้ในคำถาม SQS ไม่มีข้อผูกมัดในการส่งข้อความสูงสุดที่มีอยู่ อย่างไรก็ตามมีบางสิ่งที่ฉันต้องการแจ้งให้คุณทราบโดยสมมติว่าคุณไม่ทราบ

Long Polling

ผู้พัฒนาคู่มือของ Amazon ของรัฐที่เรียบง่ายคิวบริการ:

กระบวนการบริโภคข้อความจากคิวขึ้นอยู่กับว่าคุณใช้การโพลแบบสั้นหรือแบบยาว ตามค่าเริ่มต้น Amazon SQS ใช้การสำรวจสั้น ๆโดยสืบค้นเฉพาะเซ็ตย่อยของเซิร์ฟเวอร์ (ขึ้นอยู่กับการกระจายแบบสุ่มถ่วงน้ำหนัก) เพื่อพิจารณาว่ามีข้อความใด ๆ คุณสามารถใช้ได้ยาวเพื่อลดค่าใช้จ่ายของคุณในขณะที่ให้ผู้บริโภคของคุณได้รับข้อความทันทีที่มาถึงคิว

ข้อความที่คุณส่งถึง SQS อาจถูกจัดเก็บไว้ในเซิร์ฟเวอร์แยกต่างหาก ฐานะที่เป็นรัฐเอกสารเพียงส่วนหนึ่งของเซิร์ฟเวอร์อาจจะสอบถามถ้าคิวของคุณจะถูกตั้งค่าการใช้หน่วยเลือกตั้งสั้น ฉันเดาว่าคุณโชคไม่ดีเมื่อมีการกล่าวอ้างreceiveMessageและ3กลับมาทุกครั้ง

หากเราพิจารณาถึงประโยชน์ของการทำโพลแบบยาวในหน้าเอกสารเดียวกันมันระบุว่า:

Long polling มีประโยชน์ดังต่อไปนี้:

• กำจัดคำตอบที่ว่างเปล่าโดยอนุญาตให้ Amazon SQS รอจนกว่าข้อความจะพร้อมใช้งานในคิวก่อนที่จะส่งการตอบกลับ ยกเว้นว่าการเชื่อมต่อหมดเวลาการตอบสนองต่อการร้องขอ ReceiveMessage มีข้อความที่มีอยู่อย่างน้อยหนึ่งข้อความจนถึงจำนวนสูงสุดของข้อความที่ระบุในการกระทำ ReceiveMessage

• กำจัดการตอบสนองที่ว่างเปล่าที่ผิดพลาดโดยการค้นหาทั้งหมดแทนที่จะเป็นชุดย่อยของเซิร์ฟเวอร์ Amazon SQS

สัญลักษณ์แสดงหัวข้อย่อยที่สองมีความสำคัญมากที่นี่ แม้ว่าคุณจะไม่เห็นคำตอบที่ว่างเปล่า แต่ก็อาจมีข้อความเก็บไว้บนเซิร์ฟเวอร์ที่ไม่ถูกสอบถาม หากคุณเปิดใช้งานการสำรวจแบบยาวคุณหวังว่าจะเห็นการเพิ่มจำนวนข้อความที่ส่งคืนโดยคาดว่าจะมีเซิร์ฟเวอร์รวมมากกว่า 3 เซิร์ฟเวอร์

ดังนั้นข้อเสนอแนะของฉันคือการเปิดใช้งานการสำรวจความคิดเห็นนานในคิวของคุณ เมื่อต้องการทำสิ่งนี้ดูการตั้งค่าการสำรวจระยะยาวหน้า

ตามที่ DevilCode กล่าวไว้ในความคิดเห็นของเขาด้านล่างเขาสามารถแก้ไขปัญหาของเขาได้โดยใช้คิว FIFO แทนคิวมาตรฐานและโดยเปิดใช้การลงคะแนนแบบยาว

ฉันคิดว่านี่เป็นคำถามที่คล้ายกันตามที่จาค็อบชี้ว่าการลงคะแนนแบบยาวดูเหมือนจะเป็นทางออกสำหรับปัญหานี้

การสำรวจแบบยาว:

        ReceiveMessageRequest receiveMessageRequest = new ReceiveMessageRequest(queueUrl)
              .withWaitTimeSeconds(10)     // long poll: wait 10 seconds, max is 20 seconds
              .withMaxNumberOfMessages(10);