ใช้. cor เพื่อรับความสัมพันธ์ระหว่างสองคอลัมน์

ฉันมีดาต้าเฟรมแพนด้าต่อไปนี้Top15:

ฉันสร้างคอลัมน์ที่ประมาณจำนวนเอกสารอ้างอิงต่อคน:

Top15['PopEst'] = Top15['Energy Supply'] / Top15['Energy Supply per Capita']
Top15['Citable docs per Capita'] = Top15['Citable documents'] / Top15['PopEst']

ฉันต้องการทราบความสัมพันธ์ระหว่างจำนวนเอกสารอ้างอิงต่อหัวกับปริมาณพลังงานต่อหัว ดังนั้นฉันจึงใช้.corr()วิธี (สหสัมพันธ์ของเพียร์สัน):

data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
correlation = data.corr(method='pearson')

ฉันต้องการส่งคืนหมายเลขเดียว แต่ผลลัพธ์คือ:

หากไม่มีข้อมูลจริงก็ยากที่จะตอบคำถาม แต่ฉันเดาว่าคุณกำลังมองหาสิ่งนี้:

Top15['Citable docs per Capita'].corr(Top15['Energy Supply per Capita'])

ที่คำนวณความสัมพันธ์ระหว่างสองคอลัมน์ของคุณ และ'Citable docs per Capita''Energy Supply per Capita'

เพื่อเป็นตัวอย่าง:

import pandas as pd

df = pd.DataFrame({'A': range(4), 'B': [2*i for i in range(4)]})

   A  B
0  0  0
1  1  2
2  2  4
3  3  6

แล้วก็

df['A'].corr(df['B'])

ให้1ตามที่คาดไว้

ทีนี้ถ้าคุณเปลี่ยนค่าเช่น

df.loc[2, 'B'] = 4.5

   A    B
0  0  0.0
1  1  2.0
2  2  4.5
3  3  6.0

คำสั่ง

df['A'].corr(df['B'])

ผลตอบแทน

0.99586

ซึ่งยังคงใกล้เคียงกับ 1 ตามที่คาดไว้

ถ้าคุณใช้.corrโดยตรงกับ dataframe ของคุณก็จะกลับทุกความสัมพันธ์ระหว่างคู่คอลัมน์ ; นั่นเป็นเหตุผลว่าทำไมคุณจึงสังเกต1sที่เส้นทแยงมุมของเมทริกซ์ของคุณ (แต่ละคอลัมน์มีความสัมพันธ์อย่างสมบูรณ์กับตัวมันเอง)

df.corr()

จึงจะกลับมา

          A         B
A  1.000000  0.995862
B  0.995862  1.000000

ในกราฟิกที่คุณแสดงจะแสดงเฉพาะมุมบนซ้ายของเมทริกซ์สหสัมพันธ์เท่านั้น (ฉันถือว่า)

อาจมีบางกรณีที่คุณได้รับNaNในการแก้ปัญหาของคุณ - ตรวจสอบโพสต์นี้เพื่อดูตัวอย่าง

หากคุณต้องการกรองรายการที่สูงหรือต่ำกว่าเกณฑ์ที่กำหนดคุณสามารถตรวจสอบคำถามนี้ได้ หากคุณต้องการที่จะพล็อต heatmap ของค่าสัมประสิทธิ์สหสัมพันธ์ที่คุณสามารถตรวจสอบคำตอบนี้และถ้าคุณเรียกใช้แล้วเป็นปัญหากับที่ทับซ้อนกันแกนป้ายกำกับตรวจสอบการโพสต์ต่อไปนี้

ฉันพบปัญหาเดียวกัน มันดูเหมือนCitable Documents per Personลอยและ python ก็ข้ามมันไปโดยปริยาย คอลัมน์อื่น ๆ ทั้งหมดของ dataframe ของฉันอยู่ในรูปแบบ numpy ดังนั้นฉันจึงแก้ไขโดยการแปลง columnt เป็นnp.float64

Top15['Citable Documents per Person']=np.float64(Top15['Citable Documents per Person'])

จำไว้ว่าเป็นคอลัมน์ที่คุณคำนวณเอง

วิธีแก้ปัญหาของฉันคือหลังจากแปลงข้อมูลเป็นประเภทตัวเลข:

Top15[['Citable docs per Capita','Energy Supply per Capita']].corr()

หากคุณต้องการความสัมพันธ์ระหว่างคู่ของคอลัมน์ทั้งหมดคุณสามารถทำสิ่งนี้:

import pandas as pd
import numpy as np

def get_corrs(df):
    col_correlations = df.corr()
    col_correlations.loc[:, :] = np.tril(col_correlations, k=-1)
    cor_pairs = col_correlations.stack()
    return cor_pairs.to_dict()

my_corrs = get_corrs(df)
# and the following line to retrieve the single correlation
print(my_corrs[('Citable docs per Capita','Energy Supply per Capita')])

เมื่อคุณเรียกสิ่งนี้:

data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
correlation = data.corr(method='pearson')

เนื่องจากฟังก์ชั่น DataFrame.corr () ทำการเชื่อมโยงอย่างชาญฉลาดคุณจึงมีสี่คู่จากสองตัวแปร โดยพื้นฐานแล้วคุณจะได้รับค่าแนวทแยงเป็นสหสัมพันธ์อัตโนมัติ (ความสัมพันธ์กับตัวมันเองสองค่าเนื่องจากคุณมีสองตัวแปร) และอีกสองค่าเป็นค่าสหสัมพันธ์ข้ามระหว่างหนึ่งกับอีกค่าหนึ่งและในทางกลับกัน

ทำการเชื่อมโยงระหว่างสองชุดเพื่อให้ได้ค่าเดียว:

from scipy.stats.stats import pearsonr
docs_col = Top15['Citable docs per Capita'].values
energy_col = Top15['Energy Supply per Capita'].values
corr , _ = pearsonr(docs_col, energy_col)

หรือถ้าคุณต้องการค่าเดียวจากฟังก์ชันเดียวกัน (DataFrame's corr):

single_value = correlation[0][1] 

หวังว่านี่จะช่วยได้

การทำงานเช่นนี้:

Top15['Citable docs per Capita']=np.float64(Top15['Citable docs per Capita'])

Top15['Energy Supply per Capita']=np.float64(Top15['Energy Supply per Capita'])

Top15['Energy Supply per Capita'].corr(Top15['Citable docs per Capita'])

ฉันแก้ไขปัญหานี้โดยการเปลี่ยนประเภทข้อมูล หากคุณเห็น 'Energy Supply per Capita' เป็นประเภทตัวเลขในขณะที่ 'Citable docs per Capita' เป็นประเภทออบเจ็กต์ ฉันแปลงคอลัมน์ให้ลอยโดยใช้ astype ฉันมีปัญหาเดียวกันกับฟังก์ชั่น np บางอย่าง: count_nonzeroและsumทำงานได้ในขณะที่meanและstdไม่ทำ

การเปลี่ยน 'Citable docs per Capita' เป็นตัวเลขก่อนที่ความสัมพันธ์จะแก้ปัญหาได้

    Top15['Citable docs per Capita'] = pd.to_numeric(Top15['Citable docs per Capita'])
    data = Top15[['Citable docs per Capita','Energy Supply per Capita']]
    correlation = data.corr(method='pearson')