บันทึก Dataframe เป็น csv โดยตรงไปยัง s3 Python

ฉันมี DataFrame แพนด้าที่ต้องการอัปโหลดไปยังไฟล์ CSV ใหม่ ปัญหาคือฉันไม่ต้องการบันทึกไฟล์ในเครื่องก่อนที่จะโอนไปยัง s3 มีวิธีใดเช่น to_csv สำหรับเขียน dataframe ไปยัง s3 โดยตรงหรือไม่? ฉันใช้ boto3
นี่คือสิ่งที่ฉันมีจนถึงตอนนี้:

import boto3
s3 = boto3.client('s3', aws_access_key_id='key', aws_secret_access_key='secret_key')
read_file = s3.get_object(Bucket, Key)
df = pd.read_csv(read_file['Body'])

# Make alterations to DataFrame

# Then export DataFrame to CSV through direct transfer to s3

คุณสามารถใช้ได้:

from io import StringIO # python3; python2: BytesIO 
import boto3

bucket = 'my_bucket_name' # already created on S3
csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3_resource = boto3.resource('s3')
s3_resource.Object(bucket, 'df.csv').put(Body=csv_buffer.getvalue())

คุณสามารถใช้เส้นทาง S3 ได้โดยตรง ฉันใช้Pandas 0.24.1

In [1]: import pandas as pd

In [2]: df = pd.DataFrame( [ [1, 1, 1], [2, 2, 2] ], columns=['a', 'b', 'c'])

In [3]: df
Out[3]:
   a  b  c
0  1  1  1
1  2  2  2

In [4]: df.to_csv('s3://experimental/playground/temp_csv/dummy.csv', index=False)

In [5]: pd.__version__
Out[5]: '0.24.1'

In [6]: new_df = pd.read_csv('s3://experimental/playground/temp_csv/dummy.csv')

In [7]: new_df
Out[7]:
   a  b  c
0  1  1  1
1  2  2  2

โน๊ทเพิ่งเขียน:

การจัดการไฟล์ S3

ตอนนี้แพนด้าใช้ s3fs เพื่อจัดการการเชื่อมต่อ S3 สิ่งนี้ไม่ควรทำลายรหัสใด ๆ อย่างไรก็ตามเนื่องจาก s3fs ไม่ใช่การพึ่งพาที่จำเป็นคุณจะต้องติดตั้งแยกต่างหากเช่น boto ในแพนด้าเวอร์ชันก่อน ๆ GH11915

ฉันชอบs3fsที่ให้คุณใช้ s3 (เกือบ) เหมือนระบบไฟล์ในเครื่อง

คุณสามารถทำได้:

import s3fs

bytes_to_write = df.to_csv(None).encode()
fs = s3fs.S3FileSystem(key=key, secret=secret)
with fs.open('s3://bucket/path/to/file.csv', 'wb') as f:
    f.write(bytes_to_write)

s3fsรองรับเฉพาะrbและwbโหมดการเปิดไฟล์นั่นคือเหตุผลที่ฉันทำbytes_to_writeสิ่งนี้

นี่คือคำตอบที่ทันสมัยกว่า:

import s3fs

s3 = s3fs.S3FileSystem(anon=False)

# Use 'w' for py3, 'wb' for py2
with s3.open('<bucket-name>/<filename>.csv','w') as f:
    df.to_csv(f)

ปัญหาของ StringIO คือมันจะกัดกินหน่วยความจำของคุณ ด้วยวิธีนี้คุณกำลังสตรีมไฟล์เป็น s3 แทนที่จะแปลงเป็นสตริงแล้วเขียนลงใน s3 การถือฐานข้อมูลแพนด้าและสำเนาสตริงในหน่วยความจำดูเหมือนไม่มีประสิทธิภาพมาก

หากคุณกำลังทำงานใน ec2 ทันทีคุณสามารถให้บทบาท IAM เพื่อเปิดใช้งานการเขียนลงใน s3 ได้ดังนั้นคุณไม่จำเป็นต้องส่งข้อมูลรับรองโดยตรง อย่างไรก็ตามคุณยังสามารถเชื่อมต่อกับที่เก็บข้อมูลได้โดยส่งข้อมูลรับรองไปยังS3FileSystem()ฟังก์ชัน ดูเอกสารประกอบ: https://s3fs.readthedocs.io/en/latest/

หากคุณส่งNoneเป็นอาร์กิวเมนต์แรกไปto_csv()ยังข้อมูลจะถูกส่งกลับเป็นสตริง จากนั้นเป็นขั้นตอนง่ายๆในการอัปโหลดไปยัง S3 ในครั้งเดียว

นอกจากนี้ยังควรเป็นไปได้ที่จะส่งผ่านStringIOวัตถุไปto_csv()แต่การใช้สตริงจะง่ายกว่า

ฉันพบนี้สามารถทำได้โดยใช้และยังไม่ได้เป็นเพียงclientresource

from io import StringIO
import boto3
s3 = boto3.client("s3",\
                  region_name=region_name,\
                  aws_access_key_id=aws_access_key_id,\
                  aws_secret_access_key=aws_secret_access_key)
csv_buf = StringIO()
df.to_csv(csv_buf, header=True, index=False)
csv_buf.seek(0)
s3.put_object(Bucket=bucket, Body=csv_buf.getvalue(), Key='path/test.csv')

คุณยังสามารถใช้AWS Data Wrangler :

import awswrangler

session = awswrangler.Session()
session.pandas.to_csv(
    dataframe=df,
    path="s3://...",
)

โปรดทราบว่าจะแบ่งออกเป็นหลายส่วนเนื่องจากอัปโหลดพร้อมกัน

ตั้งแต่คุณใช้boto3.client()ลอง:

import boto3
from io import StringIO #python3 
s3 = boto3.client('s3', aws_access_key_id='key', aws_secret_access_key='secret_key')
def copy_to_s3(client, df, bucket, filepath):
    csv_buf = StringIO()
    df.to_csv(csv_buf, header=True, index=False)
    csv_buf.seek(0)
    client.put_object(Bucket=bucket, Body=csv_buf.getvalue(), Key=filepath)
    print(f'Copy {df.shape[0]} rows to S3 Bucket {bucket} at {filepath}, Done!')

copy_to_s3(client=s3, df=df_to_upload, bucket='abc', filepath='def/test.csv')

ฉันพบวิธีง่ายๆที่ดูเหมือนจะใช้งานได้:

s3 = boto3.client("s3")

s3.put_object(
    Body=open("filename.csv").read(),
    Bucket="your-bucket",
    Key="your-key"
)

หวังว่าจะช่วยได้!

ฉันอ่าน csv ที่มีสองคอลัมน์จากที่เก็บข้อมูล s3 และเนื้อหาของไฟล์ csv ที่ฉันใส่ในดาต้าเฟรมของแพนด้า

ตัวอย่าง:

config.json

{
  "credential": {
    "access_key":"xxxxxx",
    "secret_key":"xxxxxx"
}
,
"s3":{
       "bucket":"mybucket",
       "key":"csv/user.csv"
   }
}

cls_config.json

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import os
import json

class cls_config(object):

    def __init__(self,filename):

        self.filename = filename


    def getConfig(self):

        fileName = os.path.join(os.path.dirname(__file__), self.filename)
        with open(fileName) as f:
        config = json.load(f)
        return config

cls_pandas.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import pandas as pd
import io

class cls_pandas(object):

    def __init__(self):
        pass

    def read(self,stream):

        df = pd.read_csv(io.StringIO(stream), sep = ",")
        return df

cls_s3.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import boto3
import json

class cls_s3(object):

    def  __init__(self,access_key,secret_key):

        self.s3 = boto3.client('s3', aws_access_key_id=access_key, aws_secret_access_key=secret_key)

    def getObject(self,bucket,key):

        read_file = self.s3.get_object(Bucket=bucket, Key=key)
        body = read_file['Body'].read().decode('utf-8')
        return body

test.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

from cls_config import *
from cls_s3 import *
from cls_pandas import *

class test(object):

    def __init__(self):
        self.conf = cls_config('config.json')

    def process(self):

        conf = self.conf.getConfig()

        bucket = conf['s3']['bucket']
        key = conf['s3']['key']

        access_key = conf['credential']['access_key']
        secret_key = conf['credential']['secret_key']

        s3 = cls_s3(access_key,secret_key)
        ob = s3.getObject(bucket,key)

        pa = cls_pandas()
        df = pa.read(ob)

        print df

if __name__ == '__main__':
    test = test()
    test.process()