เป็นไปได้ไหมที่จะเพิ่มข้อมูลเมตา / ข้อมูลเมตาลงใน DataFrame ของแพนด้า
ตัวอย่างเช่นชื่อเครื่องมือที่ใช้ในการวัดข้อมูลเครื่องมือที่รับผิดชอบเป็นต้น
วิธีแก้ปัญหาอย่างหนึ่งคือการสร้างคอลัมน์ที่มีข้อมูลนั้น แต่ดูเหมือนว่าจะสิ้นเปลืองที่จะจัดเก็บข้อมูลชิ้นเดียวในทุกแถว!
คำตอบ:
แน่นอนเช่นเดียวกับวัตถุ Python ส่วนใหญ่คุณสามารถแนบแอตทริบิวต์ใหม่กับpandas.DataFrame:
import pandas as pd
df = pd.DataFrame([])
df.instrument_name = 'Binky'
แต่โปรดทราบว่าในขณะที่คุณสามารถแนบแอตทริบิวต์ DataFrame ให้การดำเนินการดำเนินการใน DataFrame (เช่นgroupby, pivot, joinหรือlocเพื่อชื่อเพียงไม่กี่) อาจส่งคืน DataFrame ใหม่โดยไม่ต้องเมตาดาต้าที่แนบมา นุ่นยังไม่ได้มีวิธีการที่แข็งแกร่งของการแพร่กระจาย ข้อมูลเมตาที่แนบมากับ DataFrames
การเก็บรักษาข้อมูลเมตาในไฟล์เป็นไปได้ คุณสามารถค้นหาตัวอย่างของวิธีการในการจัดเก็บข้อมูลเมตาในไฟล์ HDF5 ที่นี่
store = pd.HDFStore(...)สามารถเก็บแอตทริบิวต์ด้วยstore.root._v_attrs.key = valueไฟล์.
df = pd.DataFrame(); df.meta = {}ผลิตUserWarning: Pandas doesn't allow columns to be created via a new attribute name - see https://pandas.pydata.org/pandas-docs/stable/indexing.html#attribute-access) (ไม่มีการแจ้งเตือนหากมีการสร้างแอตทริบิวต์ดังกล่าวแล้วdf = pd.DataFrame(); df.meta = ''; df.meta = {})
สำหรับแพนด้า 1.0 อาจจะก่อนหน้านี้ตอนนี้มีDataframe.attrsคุณสมบัติ เป็นการทดลอง แต่นี่อาจเป็นสิ่งที่คุณต้องการในอนาคต ตัวอย่างเช่น:
import pandas as pd
df = pd.DataFrame([])
df.attrs['instrument_name'] = 'Binky'
ลองใช้to_parquetแล้วfrom_parquetดูเหมือนว่าจะไม่เกิดขึ้นดังนั้นโปรดตรวจสอบกับกรณีการใช้งานของคุณ
dataclassสำหรับข้อมูลเมตาแล้วซับคลาสDataFrameเพื่อให้มีวิธีการโหลด / การถ่ายโอนข้อมูลเหมือนในโพสต์ที่คุณแชร์อาจเป็นทางออกที่ดี
เพิ่งพบปัญหานี้ด้วยตัวเอง ในฐานะแพนด้า 0.13 DataFrames มีแอตทริบิวต์ _metadata ซึ่งจะคงอยู่ผ่านฟังก์ชันที่ส่งคืน DataFrames ใหม่ ดูเหมือนว่าจะรอดจากการทำให้เป็นอนุกรมได้ดี (ฉันลองใช้ json เท่านั้น แต่ฉันคิดว่า hdf ครอบคลุมด้วยเช่นกัน)
_metadataไม่ได้เป็นส่วนหนึ่งของ API สาธารณะดังนั้นฉันจึงไม่แนะนำให้ใช้ฟังก์ชันนี้
.attrsเป็นส่วนหนึ่งของ xray API)
_metadataเป็นแอตทริบิวต์คลาสไม่ใช่แอตทริบิวต์อินสแตนซ์ ดังนั้นDataFrameอินสแตนซ์ใหม่จะสืบทอดมาจากอินสแตนซ์ก่อนหน้าตราบใดที่โมดูลยังคงโหลดอยู่ ห้ามใช้_metadataเพื่ออะไร +1 สำหรับxarray!
ไม่จริง. แม้ว่าคุณจะสามารถเพิ่มแอตทริบิวต์ที่มีข้อมูลเมตาให้กับคลาส DataFrame ได้ตามที่ @unutbu กล่าวถึง แต่เมธอด DataFrame จำนวนมากจะส่งคืน DataFrame ใหม่ดังนั้นข้อมูลเมตาของคุณจะสูญหายไป หากคุณต้องการจัดการดาต้าเฟรมของคุณตัวเลือกที่ดีที่สุดคือการรวมข้อมูลเมตาและ DataFrame ของคุณไว้ในคลาสอื่น ดูการสนทนานี้ใน GitHub: https://github.com/pydata/pandas/issues/2485
ขณะนี้มีคำขอดึงแบบเปิดเพื่อเพิ่มวัตถุ MetaDataFrame ซึ่งจะรองรับข้อมูลเมตาได้ดีขึ้น
คำตอบอันดับต้น ๆ ของการแนบแอตทริบิวต์ที่กำหนดเองกับวัตถุ DataFrame เป็นสิ่งที่ดี แต่ถ้าคุณใช้พจนานุกรมรายการหรือทูเพิลก็จะแสดงข้อผิดพลาด "Pandas ไม่อนุญาตให้สร้างคอลัมน์ผ่านชื่อแอตทริบิวต์ใหม่" โซลูชันต่อไปนี้ใช้สำหรับจัดเก็บแอตทริบิวต์โดยพลการ
from types import SimpleNamespace
df = pd.DataFrame()
df.meta = SimpleNamespace()
df.meta.foo = [1,2,3]
pd.DataFrame._metadata += ["meta"]ของคุณที่คุณต้องทำ โปรดทราบว่าส่วนนี้เป็นแอตทริบิวต์ของ Pandas ไม่ใช่แอตทริบิวต์ของดาต้าเฟรมเฉพาะของคุณ
df.metaมีการเตือนว่า Pandas ไม่อนุญาตให้สร้างคอลัมน์ใหม่ด้วยวิธีนี้
df.metaเป็น SimpleNamespace นุ่นจะไม่พยายามสร้างคอลัมน์จากมัน
ดังที่กล่าวไว้ในคำตอบและความคิดเห็นอื่น ๆ_metadataไม่ใช่ส่วนหนึ่งของ API สาธารณะดังนั้นจึงไม่ควรใช้ในสภาพแวดล้อมการผลิต แต่คุณอาจต้องการใช้ในการสร้างต้นแบบการวิจัยและแทนที่หากมันหยุดทำงาน และตอนนี้มันใช้งานได้กับgroupby/ applyซึ่งมีประโยชน์ นี่คือตัวอย่าง (ซึ่งฉันไม่พบคำตอบอื่น ๆ ):
df = pd.DataFrame([1, 2, 2, 3, 3], columns=['val'])
df.my_attribute = "my_value"
df._metadata.append('my_attribute')
df.groupby('val').apply(lambda group: group.my_attribute)
เอาท์พุต:
val
1 my_value
2 my_value
3 my_value
dtype: object
การมาช้าไปหน่อยฉันคิดว่านี่อาจเป็นประโยชน์หากคุณต้องการข้อมูลเมตาเพื่อคงอยู่เหนือ I / O มีแพ็คเกจใหม่ที่เรียกว่าh5ioที่ฉันใช้เพื่อทำสิ่งนี้ให้สำเร็จ
ควรช่วยให้คุณอ่าน / เขียนได้อย่างรวดเร็วจาก HDF5 สำหรับรูปแบบทั่วไปสองสามรูปแบบหนึ่งในนั้นคือ dataframe ตัวอย่างเช่นคุณสามารถใส่ dataframe ในพจนานุกรมและรวมข้อมูลเมตาเป็นช่องในพจนานุกรมได้ เช่น:
save_dict = dict(data=my_df, name='chris', record_date='1/1/2016')
h5io.write_hdf5('path/to/file.hdf5', save_dict)
in_data = h5io.read_hdf5('path/to/file.hdf5')
df = in_data['data']
name = in_data['name']
etc...
อีกทางเลือกหนึ่งคือการดูโปรเจ็กต์เช่นxrayซึ่งมีความซับซ้อนกว่าในบางวิธี แต่ฉันคิดว่ามันช่วยให้คุณใช้ข้อมูลเมตาและแปลงเป็น DataFrame ได้ค่อนข้างง่าย
ดังที่ได้กล่าวไว้โดย @choldgraf ฉันพบว่าxarrayเป็นเครื่องมือที่ยอดเยี่ยมสำหรับการแนบข้อมูลเมตาเมื่อเปรียบเทียบข้อมูลและการลงจุดผลลัพธ์ระหว่างดาต้าเฟรมหลาย ๆ
ในงานของฉันเรามักจะเปรียบเทียบผลลัพธ์ของการแก้ไขเฟิร์มแวร์หลายรายการและสถานการณ์การทดสอบที่แตกต่างกันการเพิ่มข้อมูลนี้ทำได้ง่ายๆดังนี้:
df = pd.read_csv(meaningless_test)
metadata = {'fw': foo, 'test_name': bar, 'scenario': sc_01}
ds = xr.Dataset.from_dataframe(df)
ds.attrs = metadata
ฉันได้หาวิธีแก้ไขและพบว่าแพนด้ากรอบมีคุณสมบัติ attrs
pd.DataFrame().attrs.update({'your_attribute' : 'value'})
frame.attrs['your_attribute']
แอตทริบิวต์นี้จะติดอยู่กับเฟรมของคุณทุกครั้งที่คุณผ่าน!
ฉันมีปัญหาเดียวกันและใช้วิธีแก้ปัญหาในการสร้าง DF ใหม่ที่เล็กกว่าจากพจนานุกรมด้วยข้อมูลเมตา:
meta = {"name": "Sample Dataframe", "Created": "19/07/2019"}
dfMeta = pd.DataFrame.from_dict(meta, orient='index')
จากนั้น dfMeta นี้สามารถบันทึกควบคู่ไปกับ DF ดั้งเดิมของคุณในดอง ฯลฯ
โปรดดูที่การบันทึกและโหลดวัตถุหลายรายการในไฟล์ดองหรือไม่ (คำตอบของ Lutz) สำหรับคำตอบที่ยอดเยี่ยมเกี่ยวกับการบันทึกและการดึงข้อมูลหลายดาต้าเฟรมโดยใช้ดอง