สร้าง Pandas DataFrame จากสตริง

เพื่อทดสอบการใช้งานบางอย่างฉันต้องการสร้างDataFrameจากสตริง สมมติว่าข้อมูลทดสอบของฉันดูเหมือนว่า:

TESTDATA="""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
"""

วิธีที่ง่ายที่สุดในการอ่านข้อมูลนั้นใน Pandas DataFrameคืออะไร?

วิธีง่ายๆในการทำเช่นนี้คือใช้StringIO.StringIO(python2)หรือio.StringIO(python3)และส่งผ่านไปยังpandas.read_csvฟังก์ชัน เช่น:

import sys
if sys.version_info[0] < 3: 
    from StringIO import StringIO
else:
    from io import StringIO

import pandas as pd

TESTDATA = StringIO("""col1;col2;col3
    1;4.4;99
    2;4.5;200
    3;4.7;65
    4;3.2;140
    """)

df = pd.read_csv(TESTDATA, sep=";")

วิธีการแยก

data = input_string
df = pd.DataFrame([x.split(';') for x in data.split('\n')])
print(df)

ทางออกที่ง่ายและรวดเร็วสำหรับการทำงานแบบโต้ตอบคือการคัดลอกและวางข้อความโดยการโหลดข้อมูลจากคลิปบอร์ด

เลือกเนื้อหาของสตริงด้วยเมาส์ของคุณ:

ในการใช้งาน Python shell read_clipboard()

>>> pd.read_clipboard()
  col1;col2;col3
0       1;4.4;99
1      2;4.5;200
2       3;4.7;65
3      4;3.2;140

ใช้ตัวคั่นที่เหมาะสม:

>>> pd.read_clipboard(sep=';')
   col1  col2  col3
0     1   4.4    99
1     2   4.5   200
2     3   4.7    65
3     4   3.2   140

>>> df = pd.read_clipboard(sep=';') # save to dataframe

CSV แบบความกว้างของตัวแปรดั้งเดิมไม่สามารถอ่านได้เพื่อจัดเก็บข้อมูลเป็นตัวแปรสตริง โดยเฉพาะอย่างยิ่งสำหรับใช้ใน.pyไฟล์ให้พิจารณาข้อมูลที่คั่นด้วยไพพ์แบบความกว้างคงที่แทน IDE และบรรณาธิการต่าง ๆ อาจมีปลั๊กอินสำหรับจัดรูปแบบข้อความที่คั่นด้วยไพพ์ลงในตารางที่เรียบร้อย

การใช้ read_csv

util/pandas.pyเก็บต่อไปนี้ในโมดูลยูทิลิตี้เช่น ตัวอย่างรวมอยู่ใน docstring ของฟังก์ชั่น

import io
import re

import pandas as pd


def read_psv(str_input: str, **kwargs) -> pd.DataFrame:
    """Read a Pandas object from a pipe-separated table contained within a string.

    Input example:
        | int_score | ext_score | eligible |
        |           | 701       | True     |
        | 221.3     | 0         | False    |
        |           | 576       | True     |
        | 300       | 600       | True     |

    The leading and trailing pipes are optional, but if one is present,
    so must be the other.

    `kwargs` are passed to `read_csv`. They must not include `sep`.

    In PyCharm, the "Pipe Table Formatter" plugin has a "Format" feature that can 
    be used to neatly format a table.

    Ref: https://stackoverflow.com/a/46471952/
    """

    substitutions = [
        ('^ *', ''),  # Remove leading spaces
        (' *$', ''),  # Remove trailing spaces
        (r' *\| *', '|'),  # Remove spaces between columns
    ]
    if all(line.lstrip().startswith('|') and line.rstrip().endswith('|') for line in str_input.strip().split('\n')):
        substitutions.extend([
            (r'^\|', ''),  # Remove redundant leading delimiter
            (r'\|$', ''),  # Remove redundant trailing delimiter
        ])
    for pattern, replacement in substitutions:
        str_input = re.sub(pattern, replacement, str_input, flags=re.MULTILINE)
    return pd.read_csv(io.StringIO(str_input), sep='|', **kwargs)

ทางเลือกที่ไม่ทำงาน

รหัสด้านล่างทำงานไม่ถูกต้องเนื่องจากจะเพิ่มคอลัมน์ว่างทั้งด้านซ้ายและด้านขวา

df = pd.read_csv(io.StringIO(df_str), sep=r'\s*\|\s*', engine='python')

ส่วนจริงแล้วread_fwfมันไม่ได้ใช้ kwargs ทางเลือกมากมายที่read_csvยอมรับและใช้งาน ดังนั้นจึงไม่ควรใช้เลยสำหรับข้อมูลที่คั่นด้วยไพพ์

วิธีที่ง่ายที่สุดคือการบันทึกลงในไฟล์ชั่วคราวแล้วอ่าน:

import pandas as pd

CSV_FILE_NAME = 'temp_file.csv'  # Consider creating temp file, look URL below
with open(CSV_FILE_NAME, 'w') as outfile:
    outfile.write(TESTDATA)
df = pd.read_csv(CSV_FILE_NAME, sep=';')

วิธีที่ถูกต้องในการสร้างไฟล์ temp: ฉันจะสร้างไฟล์ tmp ใน Python ได้อย่างไร