จะใช้ AWS S3 CLI เพื่อถ่ายโอนไฟล์ไปยัง stdout ใน BASH ได้อย่างไร

Question 1

ฉันเริ่มสคริปต์ทุบตีซึ่งจะใช้เส้นทางใน S3 (ตามที่ระบุไปยังคำสั่ง lsคำสั่ง) stdoutและการถ่ายโอนเนื้อหาของทั้งหมดของวัตถุไฟล์เพื่อ โดยเฉพาะอย่างยิ่งผมอยากที่จะทำซ้ำcat /path/to/files/*ยกเว้น S3 s3cat '/bucket/path/to/files/*'เช่น ความชอบแรกของฉันมองไปที่ตัวเลือกคือการใช้cpคำสั่งไปยังแฟ้มชั่วคราวแล้วcatว่า

มีใครลองสิ่งนี้หรือคล้ายกันหรือมีคำสั่งที่ฉันไม่พบคำสั่งใดบ้าง

Question 2

ถ่ายโอนเนื้อหาของอ็อบเจ็กต์ไฟล์ทั้งหมดไปที่ stdout

คุณสามารถทำได้หากคุณผ่าน-ปลายทางของaws s3 cpคำสั่ง ตัวอย่างเช่น $ aws s3 cp s3://mybucket/stream.txt -.

สิ่งที่คุณกำลังพยายามทำคืออะไรแบบนี้? ::

#!/bin/bash

BUCKET=YOUR-BUCKET-NAME
for key in `aws s3api list-objects --bucket $BUCKET --prefix bucket/path/to/files/ | jq -r '.Contents[].Key'`
do
  echo $key
  aws s3 cp s3://$BUCKET/$key - | md5sum
done

Question 3

หากคุณใช้ AWS CLI เวอร์ชันที่ไม่รองรับการคัดลอกไปยัง "-" คุณยังสามารถใช้ / dev / stdout:

$ aws s3 cp --quiet s3://mybucket/stream.txt /dev/stdout

คุณอาจต้องการ--quietตั้งค่าสถานะเพื่อป้องกันไม่ให้บรรทัดสรุปดังต่อไปนี้ถูกผนวกเข้ากับผลลัพธ์ของคุณ:

ดาวน์โหลด: s3: //mybucket/stream.txt ถึง ../../dev/stdout

Question 4

คุณสามารถลองใช้s3streamcatซึ่งรองรับรูปแบบ bzip, gzip และ xz เช่นกัน

ติดตั้งด้วย

sudo pip install s3streamcat

การใช้งาน:

s3streamcat s3://bucketname/dir/file_path
s3streamcat s3://bucketname/dir/file_path | more
s3streamcat s3://bucketname/dir/file_path | grep something

Question 5

อะฮ่า!

https://pypi.python.org/pypi/s3cat/1.0.8

ฉันกำลังเขียนอักขระเพิ่มเติมเพื่อตอบสนองความต้องการด้านความยาว

Question 6

หากคุณต้องการทำสิ่งนี้ให้สำเร็จโดยใช้ BASH คุณจะต้องโทรออกไปยังแอปภายนอกเช่นAWS Command-Line Interface (CLI) ไม่มีคุณสมบัติเทียบเท่า CAT ดังนั้นคุณจะต้องคัดลอกไฟล์ในเครื่องแล้วเลือก CAT

หรือคุณสามารถใช้ / เขียนแอปที่เรียก AWS SDK โดยตรงซึ่งมีให้บริการสำหรับภาษาต่างๆเช่น Python, PHP, Java ด้วยการใช้ SDK เนื้อหาของไฟล์สามารถเรียกคืนในหน่วยความจำแล้วส่งไปยัง stdout