สมมติว่าฉันมีเครื่องที่ฉันต้องการเขียนลงในไฟล์บันทึกบางอย่างที่เก็บไว้ในที่เก็บข้อมูล S3

ดังนั้นเครื่องจำเป็นต้องมีความสามารถในการเขียนลงในที่เก็บข้อมูลนั้น แต่ฉันไม่ต้องการให้เครื่องมีความสามารถในการเขียนทับหรือลบไฟล์ใด ๆ ในที่เก็บข้อมูลนั้น (รวมถึงไฟล์ที่ฉันต้องการให้เขียนด้วย)

โดยพื้นฐานแล้วฉันต้องการให้เครื่องของฉันสามารถต่อท้ายข้อมูลลงในไฟล์บันทึกนั้นได้โดยไม่ต้องลบล้างหรือดาวน์โหลด

มีวิธีกำหนดค่า S3 ของฉันให้ทำงานแบบนั้นหรือไม่? อาจมีนโยบาย IAM บางอย่างที่ฉันสามารถแนบได้เพื่อให้ทำงานได้อย่างที่ต้องการ

น่าเสียดายที่คุณทำไม่ได้

S3 ไม่มีการดำเนินการ "ผนวก" ^*เมื่ออัปโหลดวัตถุแล้วจะไม่มีวิธีใดที่จะแก้ไขได้ ทางเลือกเดียวของคุณคืออัปโหลดออบเจ็กต์ใหม่เพื่อแทนที่ซึ่งไม่ตรงตามความต้องการของคุณ

*: ใช่ฉันรู้ว่าโพสต์นี้มีอายุสองสามปี มันยังคงถูกต้องแม้ว่า

ในฐานะที่เป็นคำตอบที่ยอมรับคุณไม่สามารถทำได้ ทางออกที่ดีที่สุดที่ฉันทราบคือใช้:

AWS Kinesis Firehose

https://aws.amazon.com/kinesis/firehose/

ตัวอย่างโค้ดของพวกเขาดูซับซ้อน แต่ของคุณนั้นง่ายมาก คุณยังคงดำเนินการ PUT (หรือ BATCH PUT) ไปยังสตรีมการส่ง Kinesis Firehose ในแอปพลิเคชันของคุณ (โดยใช้ AWS SDK) และคุณกำหนดค่าสตรีมการส่ง Kinesis Firehose เพื่อส่งข้อมูลที่สตรีมของคุณไปยังที่เก็บข้อมูล AWS S3 ที่คุณเลือก (ในส่วน คอนโซล AWS Kinesis Firehose)

มันยังไม่สะดวกเท่า>>จากบรรทัดคำสั่ง Linux เพราะเมื่อคุณสร้างไฟล์บน S3 แล้วคุณจะต้องจัดการกับการดาวน์โหลดต่อท้ายและอัปโหลดไฟล์ใหม่อีกครั้ง แต่คุณต้องทำเพียงครั้งเดียวต่อชุดบรรทัดแทน มากกว่าข้อมูลทุกบรรทัดดังนั้นคุณจึงไม่ต้องกังวลกับค่าใช้จ่ายจำนวนมากเนื่องจากปริมาณการดำเนินการต่อท้าย อาจจะทำได้ แต่ไม่เห็นวิธีทำจากคอนโซล

อ็อบเจ็กต์บน S3 ไม่สามารถต่อท้ายได้ คุณมี 2 วิธีแก้ไขในกรณีนี้:

1. คัดลอกข้อมูล S3 ทั้งหมดไปยังออบเจ็กต์ใหม่ผนวกเนื้อหาใหม่และเขียนกลับไปที่ S3

function writeToS3(input) {
    var content;
    var getParams = {
        Bucket: 'myBucket', 
        Key: "myKey"
    };

    s3.getObject(getParams, function(err, data) {
        if (err) console.log(err, err.stack);
        else {
            content = new Buffer(data.Body).toString("utf8");
            content = content + '\n' + new Date() + '\t' + input;
            var putParams = {
                Body: content,
                Bucket: 'myBucket', 
                Key: "myKey",
                ACL: "public-read"
             };

            s3.putObject(putParams, function(err, data) {
                if (err) console.log(err, err.stack); // an error occurred
                else     {
                    console.log(data);           // successful response
                }
             });
        }
    });  
}

2. ตัวเลือกที่สองคือใช้ Kinesis Firehose นี่ค่อนข้างตรงไปตรงมา คุณต้องสร้างสตรีมการจัดส่ง firehose ของคุณและเชื่อมโยงปลายทางกับที่เก็บ S3 แค่นั้นแหละ!

function writeToS3(input) {
    var content = "\n" + new Date() + "\t" + input;
    var params = {
      DeliveryStreamName: 'myDeliveryStream', /* required */
      Record: { /* required */
        Data: new Buffer(content) || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
      }
    };

    firehose.putRecord(params, function(err, data) {
      if (err) console.log(err, err.stack); // an error occurred
      else     console.log(data);           // successful response
    }); 
}

ในกรณีที่ทุกคนต้องการที่จะผนวกข้อมูลไปยังวัตถุที่มี S3 เหมือนบริการอาลีบาบาเมฆ OSS (Object Storage Service) นี้สนับสนุนโดยกำเนิด

OSS ให้การอัปโหลดต่อท้าย (ผ่าน AppendObject API) ซึ่งช่วยให้คุณสามารถผนวกเนื้อหาที่ส่วนท้ายของออบเจ็กต์ได้โดยตรง วัตถุที่อัปโหลดโดยใช้วิธีนี้เป็นวัตถุที่ต่อท้ายได้ในขณะที่วัตถุที่อัปโหลดโดยใช้วิธีการอื่นเป็นวัตถุปกติ ข้อมูลต่อท้ายสามารถอ่านได้ทันที

ตามที่คนอื่น ๆ ได้ระบุไว้ก่อนหน้านี้อ็อบเจ็กต์ S3 ไม่สามารถต่อท้ายได้
อย่างไรก็ตามวิธีอื่นจะเขียนออกไปบันทึก CloudWatch แล้วส่งออกบันทึกที่คุณต้องการ S3 นอกจากนี้ยังช่วยป้องกันไม่ให้ผู้โจมตีที่เข้าถึงเซิร์ฟเวอร์ของคุณลบออกจากที่เก็บข้อมูล S3 ของคุณเนื่องจาก Lambda ไม่ต้องการสิทธิ์ S3 ใด ๆ

ฉันมีปัญหาที่คล้ายกันและนี่คือสิ่งที่ฉันถาม

วิธีผนวกข้อมูลในไฟล์โดยใช้ AWS Lambda

นี่คือสิ่งที่ฉันคิดขึ้นเพื่อแก้ปัญหาข้างต้น:

ใช้ getObject เพื่อดึงข้อมูลจากไฟล์ที่มีอยู่

   s3.getObject(getParams, function(err, data) {
   if (err) console.log(err, err.stack); // an error occurred
   else{
       console.log(data);           // successful response
       var s3Projects = JSON.parse(data.Body);
       console.log('s3 data==>', s3Projects);
       if(s3Projects.length > 0) {
           projects = s3Projects;
       }   
   }
   projects.push(event);
   writeToS3(); // Calling function to append the data
});

เขียนฟังก์ชันเพื่อต่อท้ายไฟล์

   function writeToS3() {
    var putParams = {
      Body: JSON.stringify(projects),
      Bucket: bucketPath, 
      Key: "projects.json",
      ACL: "public-read"
     };

    s3.putObject(putParams, function(err, data) {
       if (err) console.log(err, err.stack); // an error occurred
       else     console.log(data);           // successful response
        callback(null, 'Hello from Lambda');
     });
}

หวังว่านี่จะช่วยได้ !!