python-pandas และฐานข้อมูลเช่น mysql

เอกสารสำหรับ Pandas มีตัวอย่างแนวทางปฏิบัติที่ดีที่สุดมากมายสำหรับการทำงานกับข้อมูลที่จัดเก็บในรูปแบบต่างๆ

อย่างไรก็ตามฉันไม่พบตัวอย่างที่ดีสำหรับการทำงานกับฐานข้อมูลเช่น MySQL เป็นต้น

ใครสามารถชี้ฉันไปที่ลิงก์หรือให้ข้อมูลโค้ดเกี่ยวกับวิธีการแปลงผลลัพธ์การสืบค้นโดยใช้mysql-pythonเป็น data frames ใน Pandas ได้อย่างมีประสิทธิภาพ

ดังที่ Wes กล่าวว่า read_sql ของ io / sql จะทำเมื่อคุณได้รับการเชื่อมต่อฐานข้อมูลโดยใช้ไลบรารีที่เข้ากันได้กับ DBI เราสามารถดูสองตัวอย่างสั้น ๆ โดยใช้MySQLdbและcx_Oracleไลบรารีเพื่อเชื่อมต่อกับ Oracle และ MySQL และสืบค้นพจนานุกรมข้อมูล นี่คือตัวอย่างสำหรับcx_Oracle:

import pandas as pd
import cx_Oracle

ora_conn = cx_Oracle.connect('your_connection_string')
df_ora = pd.read_sql('select * from user_objects', con=ora_conn)    
print 'loaded dataframe from Oracle. # Records: ', len(df_ora)
ora_conn.close()

และนี่คือตัวอย่างที่เทียบเท่าสำหรับMySQLdb:

import MySQLdb
mysql_cn= MySQLdb.connect(host='myhost', 
                port=3306,user='myusername', passwd='mypassword', 
                db='information_schema')
df_mysql = pd.read_sql('select * from VIEWS;', con=mysql_cn)    
print 'loaded dataframe from MySQL. records:', len(df_mysql)
mysql_cn.close()

สำหรับผู้อ่านคำถามนี้ล่าสุด: หมีแพนด้ามีคำเตือนต่อไปนี้ในเอกสารสำหรับเวอร์ชัน 14.0 :

คำเตือน: บางฟังก์ชันหรือชื่อแทนฟังก์ชันที่มีอยู่ได้เลิกใช้งานแล้วและจะถูกลบออกในเวอร์ชันต่อ ๆ ไป ซึ่งรวมถึง: tquery, uquery, read_frame, frame_query, write_frame

และ:

คำเตือน: การรองรับรสชาติ 'mysql' เมื่อใช้ออบเจ็กต์การเชื่อมต่อ DBAPI ถูกเลิกใช้แล้ว MySQL จะรองรับเพิ่มเติมกับเอ็นจิ้น SQLAlchemy (GH6900)

ทำให้หลายคำตอบที่นี่ล้าสมัย คุณควรใช้sqlalchemy:

from sqlalchemy import create_engine
import pandas as pd
engine = create_engine('dialect://user:pass@host:port/schema', echo=False)
f = pd.read_sql_query('SELECT * FROM mytable', engine, index_col = 'ID')

สำหรับบันทึกนี่คือตัวอย่างการใช้ฐานข้อมูล sqlite:

import pandas as pd
import sqlite3

with sqlite3.connect("whatever.sqlite") as con:
    sql = "SELECT * FROM table_name"
    df = pd.read_sql_query(sql, con)
    print df.shape

ฉันชอบสร้างแบบสอบถามด้วยSQLAlchemyแล้วสร้าง DataFrame จากมัน SQLAlchemyทำให้ง่ายต่อการรวมเงื่อนไขSQL Pythonically หากคุณตั้งใจจะผสมและจับคู่สิ่งต่างๆซ้ำแล้วซ้ำอีก

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Table
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from pandas import DataFrame
import datetime

# We are connecting to an existing service
engine = create_engine('dialect://user:pwd@host:port/db', echo=False)
Session = sessionmaker(bind=engine)
session = Session()
Base = declarative_base()

# And we want to query an existing table
tablename = Table('tablename', 
    Base.metadata, 
    autoload=True, 
    autoload_with=engine, 
    schema='ownername')

# These are the "Where" parameters, but I could as easily 
# create joins and limit results
us = tablename.c.country_code.in_(['US','MX'])
dc = tablename.c.locn_name.like('%DC%')
dt = tablename.c.arr_date >= datetime.date.today() # Give me convenience or...

q = session.query(tablename).\
            filter(us & dc & dt) # That's where the magic happens!!!

def querydb(query):
    """
    Function to execute query and return DataFrame.
    """
    df = DataFrame(query.all());
    df.columns = [x['name'] for x in query.column_descriptions]
    return df

querydb(q)

ตัวอย่าง MySQL:

import MySQLdb as db
from pandas import DataFrame
from pandas.io.sql import frame_query

database = db.connect('localhost','username','password','database')
data     = frame_query("SELECT * FROM data", database)

ไวยากรณ์เดียวกันใช้ได้กับเซิร์ฟเวอร์ Ms SQL ที่ใช้ podbc ด้วย

import pyodbc
import pandas.io.sql as psql

cnxn = pyodbc.connect('DRIVER={SQL Server};SERVER=servername;DATABASE=mydb;UID=username;PWD=password') 
cursor = cnxn.cursor()
sql = ("""select * from mytable""")

df = psql.frame_query(sql, cnxn)
cnxn.close()

และนี่คือวิธีที่คุณเชื่อมต่อกับ PostgreSQL โดยใช้ไดรเวอร์ psycopg2 (ติดตั้งด้วย "apt-get install python-psycopg2" หากคุณใช้ Debian Linux derivative OS)

import pandas.io.sql as psql
import psycopg2

conn = psycopg2.connect("dbname='datawarehouse' user='user1' host='localhost' password='uberdba'")

q = """select month_idx, sum(payment) from bi_some_table"""

df3 = psql.frame_query(q, conn)

สำหรับ Sybase ผลงานต่อไปนี้ (กับhttp://python-sybase.sourceforge.net )

import pandas.io.sql as psql
import Sybase

df = psql.frame_query("<Query>", con=Sybase.connect("<dsn>", "<user>", "<pwd>"))

pandas.io.sql.frame_queryเลิกใช้แล้ว ใช้pandas.read_sqlแทน

นำเข้าโมดูล

import pandas as pd
import oursql

เชื่อมต่อ

conn=oursql.connect(host="localhost",user="me",passwd="mypassword",db="classicmodels")
sql="Select customerName, city,country from customers order by customerName,country,city"
df_mysql = pd.read_sql(sql,conn)
print df_mysql

ใช้งานได้ดีและใช้ pandas.io.sql frame_works (พร้อมคำเตือนการเลิกใช้งาน) ฐานข้อมูลที่ใช้คือฐานข้อมูลตัวอย่างจากการสอน mysql

สิ่งนี้ควรใช้งานได้ดี

import MySQLdb as mdb
import pandas as pd
con = mdb.connect(‘127.0.0.1’, ‘root’, ‘password’, ‘database_name’);
with con:
 cur = con.cursor()
 cur.execute(“select random_number_one, random_number_two, random_number_three from randomness.a_random_table”)
 rows = cur.fetchall()
 df = pd.DataFrame( [[ij for ij in i] for i in rows] )
 df.rename(columns={0: ‘Random Number One’, 1: ‘Random Number Two’, 2: ‘Random Number Three’}, inplace=True);
 print(df.head(20))

นี้จะช่วยให้ฉันสำหรับเชื่อมต่อกับAWS MYSQL (RDS)จากหลาม 3.xตามฟังก์ชั่นแลมบ์ดาและโหลดลงในหมีแพนด้า DataFrame

import json
import boto3
import pymysql
import pandas as pd
user = 'username'
password = 'XXXXXXX'
client = boto3.client('rds')
def lambda_handler(event, context):
    conn = pymysql.connect(host='xxx.xxxxus-west-2.rds.amazonaws.com', port=3306, user=user, passwd=password, db='database name', connect_timeout=5)
    df= pd.read_sql('select * from TableName limit 10',con=conn)
    print(df)
    # TODO implement
    #return {
    #    'statusCode': 200,
    #    'df': df
    #}

สำหรับผู้ใช้ Postgres

import psycopg2
import pandas as pd

conn = psycopg2.connect("database='datawarehouse' user='user1' host='localhost' password='uberdba'")

customers = 'select * from customers'

customers_df = pd.read_sql(customers,conn)

customers_df