พื้นหลัง

ฉันเพิ่งอัพเกรด Pandas จาก 0.11 เป็น 0.13.0rc1 ตอนนี้แอปพลิเคชันกำลังเปิดตัวคำเตือนใหม่ ๆ มากมาย หนึ่งในนั้นเช่นนี้

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE

ฉันต้องการรู้ว่ามันแปลว่าอะไร? ฉันจำเป็นต้องเปลี่ยนบางสิ่งหรือไม่

ฉันควรจะระงับการเตือนถ้าผมยืนยันการใช้งานquote_df['TVol'] = quote_df['TVol']/TVOL_SCALE?

ฟังก์ชั่นที่ให้ข้อผิดพลาด

def _decode_stock_quote(list_of_150_stk_str):
    """decode the webpage and return dataframe"""

    from cStringIO import StringIO

    str_of_all = "".join(list_of_150_stk_str)

    quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]
    quote_df['TClose'] = quote_df['TPrice']
    quote_df['RT']     = 100 * (quote_df['TPrice']/quote_df['TPCLOSE'] - 1)
    quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
    quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
    quote_df['STK_ID'] = quote_df['STK'].str.slice(13,19)
    quote_df['STK_Name'] = quote_df['STK'].str.slice(21,30)#.decode('gb2312')
    quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])

    return quote_df

ข้อความแสดงข้อผิดพลาดเพิ่มเติม

E:\FinReporter\FM_EXT.py:449: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TVol']   = quote_df['TVol']/TVOL_SCALE
E:\FinReporter\FM_EXT.py:450: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TAmt']   = quote_df['TAmt']/TAMT_SCALE
E:\FinReporter\FM_EXT.py:453: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  quote_df['TDate']  = quote_df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10])

SettingWithCopyWarningถูกสร้างขึ้นเพื่อธงที่อาจทำให้เกิดความสับสน "ล่ามโซ่" ที่ได้รับมอบหมายเช่นต่อไปนี้ซึ่งไม่เคยทำงานตามที่คาดไว้โดยเฉพาะอย่างยิ่งเมื่อมีการเลือกครั้งแรกส่งกลับสำเนา [ดูGH5390และGH5597สำหรับการอภิปรายเบื้องหลัง]

df[df['A'] > 2]['B'] = new_val  # new_val not set in df

คำเตือนมีข้อเสนอแนะเพื่อเขียนใหม่ดังนี้:

df.loc[df['A'] > 2, 'B'] = new_val

อย่างไรก็ตามสิ่งนี้ไม่เหมาะกับการใช้งานของคุณซึ่งเทียบเท่ากับ:

df = df[df['A'] > 2]
df['B'] = new_val

ในขณะที่มันชัดเจนว่าคุณไม่สนใจการเขียนทำให้กลับไปที่เฟรมดั้งเดิม (เนื่องจากคุณเขียนทับการอ้างอิงถึงมัน) แต่น่าเสียดายที่รูปแบบนี้ไม่สามารถแยกความแตกต่างจากตัวอย่างที่ได้รับมอบหมายแรก ดังนั้นคำเตือน (บวกเท็จ) โอกาสที่จะเกิดผลบวกปลอมนั้นได้รับการแก้ไขในเอกสารเกี่ยวกับการจัดทำดัชนีหากคุณต้องการอ่านเพิ่มเติม คุณสามารถปิดใช้งานคำเตือนใหม่นี้อย่างปลอดภัยด้วยการมอบหมายต่อไปนี้

import pandas as pd
pd.options.mode.chained_assignment = None  # default='warn'

จะจัดการกับSettingWithCopyWarningPandas ได้อย่างไร?

โพสต์นี้มีไว้สำหรับผู้อ่านที่

1. ต้องการที่จะเข้าใจความหมายของคำเตือนนี้
2. ต้องการที่จะเข้าใจวิธีการต่าง ๆ ของการยับยั้งคำเตือนนี้
3. ต้องการทราบวิธีปรับปรุงรหัสและปฏิบัติตามแนวทางปฏิบัติที่ดีเพื่อหลีกเลี่ยงคำเตือนนี้ในอนาคต

ติดตั้ง

np.random.seed(0)
df = pd.DataFrame(np.random.choice(10, (3, 5)), columns=list('ABCDE'))
df
   A  B  C  D  E
0  5  0  3  3  7
1  9  3  5  2  4
2  7  6  8  8  1

คือSettingWithCopyWarningอะไร

หากต้องการทราบวิธีจัดการกับคำเตือนนี้เป็นสิ่งสำคัญที่จะต้องเข้าใจว่ามันหมายถึงอะไรและทำไมมันถูกยกขึ้นมาตั้งแต่แรก

เมื่อกรอง DataFrames เป็นไปได้ที่จะแบ่งส่วน / ดัชนีเฟรมเพื่อส่งคืนมุมมองหรือสำเนาโดยขึ้นอยู่กับโครงร่างภายในและรายละเอียดการนำไปปฏิบัติต่าง ๆ "มุมมอง" คือตามคำแนะนำมุมมองลงในข้อมูลต้นฉบับดังนั้นการแก้ไขมุมมองอาจแก้ไขวัตถุต้นฉบับ ในทางตรงกันข้าม "สำเนา" คือการจำลองข้อมูลจากต้นฉบับและการแก้ไขสำเนาไม่มีผลกับต้นฉบับ

ดังกล่าวโดยคำตอบอื่น ๆ ที่SettingWithCopyWarningถูกสร้างขึ้นเพื่อดำเนินการ "กำหนดที่ถูกผูกมัด" พิจารณาdfในการตั้งค่าด้านบน สมมติว่าคุณต้องการเลือกค่าทั้งหมดในคอลัมน์ "B" โดยที่ค่าในคอลัมน์ "A" คือ> 5. Pandas ช่วยให้คุณทำสิ่งนี้ในรูปแบบที่แตกต่างกันบางอย่างถูกต้องกว่าคนอื่น ๆ ตัวอย่างเช่น,

df[df.A > 5]['B']

1    3
2    6
Name: B, dtype: int64

และ,

df.loc[df.A > 5, 'B']

1    3
2    6
Name: B, dtype: int64

สิ่งเหล่านี้ส่งคืนผลลัพธ์เดียวกันดังนั้นหากคุณอ่านค่าเหล่านี้เท่านั้น ดังนั้นปัญหาคืออะไร ปัญหาเกี่ยวกับการกำหนดที่ถูกโยงโซ่คือโดยทั่วไปมันยากที่จะคาดการณ์ว่ามุมมองหรือการคัดลอกจะถูกส่งกลับดังนั้นส่วนใหญ่จะกลายเป็นปัญหาเมื่อคุณพยายามที่จะกำหนดค่ากลับ หากต้องการสร้างตัวอย่างก่อนหน้านี้ให้พิจารณาวิธีการเรียกใช้โค้ดนี้โดยล่าม:

df.loc[df.A > 5, 'B'] = 4
# becomes
df.__setitem__((df.A > 5, 'B'), 4)

เดียวกับการเรียกร้องให้__setitem__ dfOTOH พิจารณารหัสนี้:

df[df.A > 5]['B'] = 4
# becomes
df.__getitem__(df.A > 5).__setitem__('B", 4)

ตอนนี้ขึ้นอยู่กับว่า__getitem__กลับมีมุมมองหรือสำเนาการ__setitem__ดำเนินงานอาจไม่ทำงาน

โดยทั่วไปคุณควรใช้locสำหรับการกำหนดตามป้ายกำกับและilocสำหรับการมอบหมายตามจำนวนเต็ม / ตำแหน่งเนื่องจากข้อมูลจำเพาะรับประกันว่าพวกเขาจะทำงานบนต้นฉบับเสมอ นอกจากนี้สำหรับการตั้งค่าเซลล์เดียวที่คุณควรใช้และatiat

เพิ่มเติมสามารถพบได้ในเอกสาร

หมายเหตุ
ทุกการดำเนินงานการจัดทำดัชนีบูลทำด้วยนอกจากนี้ยังสามารถทำได้ด้วยloc ilocความแตกต่างเพียงอย่างเดียวคือilocคาดว่าจะเป็นจำนวนเต็ม / ตำแหน่งสำหรับดัชนีหรืออาเรย์จำนวน numpy ของค่าบูลีนและดัชนีจำนวนเต็ม / ตำแหน่งสำหรับคอลัมน์

ตัวอย่างเช่น,

df.loc[df.A > 5, 'B'] = 4

สามารถเขียน NAS

df.iloc[(df.A > 5).values, 1] = 4

และ,

df.loc[1, 'A'] = 100

สามารถเขียนเป็น

df.iloc[1, 0] = 100

และอื่น ๆ

แค่บอกวิธีการระงับคำเตือน!

พิจารณาดำเนินการอย่างง่ายที่ "A" dfคอลัมน์ การเลือก "A" และหารด้วย 2 จะเป็นการเพิ่มการเตือน แต่การทำงานจะทำงาน

df2 = df[['A']]
df2['A'] /= 2
/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/site-packages/IPython/__main__.py:1: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

df2
     A
0  2.5
1  4.5
2  3.5

มีวิธีการปิดเสียงเตือนนี้โดยตรงสองวิธี:

1. ทำ deepcopy

   df2 = df[['A']].copy(deep=True)
   df2['A'] /= 2
   

2. เปลี่ยนpd.options.mode.chained_assignment
   สามารถตั้งค่าให้None, หรือ"warn" เป็นค่าเริ่มต้น จะระงับการเตือนทั้งหมดและจะโยน a ป้องกันไม่ให้การดำเนินการผ่านไป"raise""warn"None"raise"SettingWithCopyError

   pd.options.mode.chained_assignment = None
   df2['A'] /= 2
   

@Peter Cottonในความคิดเห็นมาพร้อมกับวิธีที่ดีในการไม่เปลี่ยนโหมด (แก้ไขจากกระทู้นี้ ) โดยใช้ตัวจัดการบริบทเพื่อตั้งค่าโหมดตราบเท่าที่จำเป็นและตั้งค่ากลับเป็น สถานะเดิมเมื่อเสร็จสิ้น

class ChainedAssignent:
    def __init__(self, chained=None):
        acceptable = [None, 'warn', 'raise']
        assert chained in acceptable, "chained must be in " + str(acceptable)
        self.swcw = chained

    def __enter__(self):
        self.saved_swcw = pd.options.mode.chained_assignment
        pd.options.mode.chained_assignment = self.swcw
        return self

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = self.saved_swcw

การใช้งานมีดังนี้:

# some code here
with ChainedAssignent():
    df2['A'] /= 2
# more code follows

หรือเพื่อยกข้อยกเว้น

with ChainedAssignent(chained='raise'):
    df2['A'] /= 2

SettingWithCopyError: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

"ปัญหา XY": ฉันทำอะไรผิด

บ่อยครั้งที่ผู้ใช้พยายามมองหาวิธีที่จะระงับข้อยกเว้นนี้โดยไม่เข้าใจว่าเหตุใดจึงถูกยกขึ้นมาตั้งแต่แรก นี่เป็นตัวอย่างที่ดีของปัญหา XYที่ผู้ใช้พยายามแก้ปัญหา "Y" ซึ่งเป็นอาการของปัญหารากลึก "X" คำถามจะถูกหยิบยกขึ้นอยู่กับปัญหาทั่วไปที่พบคำเตือนนี้แล้วจะนำเสนอโซลูชั่น

คำถามที่ 1
ฉันมี DataFrame

df
       A  B  C  D  E
    0  5  0  3  3  7
    1  9  3  5  2  4
    2  7  6  8  8  1

ฉันต้องการที่จะกำหนดค่าในคอลัมน์ "A"> 5 ถึง 1000 คาดว่าการส่งออกของฉันคือ

      A  B  C  D  E
0     5  0  3  3  7
1  1000  3  5  2  4
2  1000  6  8  8  1

ทางที่ผิดจะทำเช่นนี้:

df.A[df.A > 5] = 1000         # works, because df.A returns a view
df[df.A > 5]['A'] = 1000      # does not work
df.loc[df.A  5]['A'] = 1000   # does not work

วิธีที่ถูกต้องโดยใช้loc:

df.loc[df.A > 5, 'A'] = 1000

คำถาม 2 ¹
ฉันพยายามตั้งค่าในเซลล์ (1, 'D') เป็น 12345 ผลลัพธ์ที่ฉันคาดหวังคือ

   A  B  C      D  E
0  5  0  3      3  7
1  9  3  5  12345  4
2  7  6  8      8  1

df['D'][1]ฉันได้ลองวิธีที่แตกต่างกันในการเข้าถึงมือถือนี้เช่น วิธีที่ดีที่สุดในการทำเช่นนี้คืออะไร?

_{1. คำถามนี้ไม่เกี่ยวข้องกับคำเตือนโดยเฉพาะ แต่เป็นการดีที่จะเข้าใจวิธีการดำเนินการนี้อย่างถูกต้องเพื่อหลีกเลี่ยงสถานการณ์ที่อาจมีคำเตือนเกิดขึ้นในอนาคต}

คุณสามารถใช้วิธีการใด ๆ ต่อไปนี้เพื่อทำสิ่งนี้

df.loc[1, 'D'] = 12345
df.iloc[1, 3] = 12345
df.at[1, 'D'] = 12345
df.iat[1, 3] = 12345

คำถามที่ 3
ฉันพยายามเซ็ตค่าตามเงื่อนไขบางอย่าง ฉันมี DataFrame

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

ฉันต้องการกำหนดค่าใน "D" ให้กับ 123 เช่น "C" == 5 ฉันลองแล้ว

df2.loc[df2.C == 5, 'D'] = 123

ซึ่งดูเหมือนดี แต่ฉันยังคงได้รับ SettingWithCopyWarning! ฉันจะแก้ไขสิ่งนี้ได้อย่างไร

นี่อาจเป็นเพราะโค้ดสูงขึ้นในไพพ์ไลน์ของคุณ คุณสร้างdf2จากสิ่งที่ใหญ่กว่าเช่น

df2 = df[df.A > 5]

? ในกรณีนี้การทำดัชนีบูลีนจะส่งคืนมุมมองดังนั้นdf2จะอ้างอิงต้นฉบับ สิ่งที่คุณต้องทำคือกำหนดให้df2กับสำเนา :

df2 = df[df.A > 5].copy()
# Or,
# df2 = df.loc[df.A > 5, :]

คำถามที่ 4
ฉันพยายามวางคอลัมน์ "C" แทน

   A  B  C  D  E
1  9  3  5  2  4
2  7  6  8  8  1

แต่การใช้

df2.drop('C', axis=1, inplace=True)

SettingWithCopyWarningพ่น ทำไมสิ่งนี้จึงเกิดขึ้น

นี่เป็นเพราะdf2ต้องถูกสร้างเป็นมุมมองจากการดำเนินการแบ่งส่วนอื่นเช่น

df2 = df[df.A > 5]

วิธีการแก้ปัญหาที่นี่คือการอย่างใดอย่างหนึ่งทำcopy()ของdfหรือการใช้locเป็นมาก่อน

โดยทั่วไปประเด็นSettingWithCopyWarningคือเพื่อแสดงให้ผู้ใช้ (และโดยเฉพาะผู้ใช้ใหม่) ว่าพวกเขาอาจจะทำงานบนสำเนาและไม่ใช่ต้นฉบับตามที่พวกเขาคิด มีเป็นบวกเท็จ (IOW ถ้าคุณรู้ว่าสิ่งที่คุณทำมันอาจจะok ) ความเป็นไปได้อย่างหนึ่งคือการปิดคำเตือน(ตามค่าเริ่มต้นเตือน ) ตามที่ @Garrett แนะนำ

นี่คือตัวเลือกอื่น:

In [1]: df = DataFrame(np.random.randn(5, 2), columns=list('AB'))

In [2]: dfa = df.ix[:, [1, 0]]

In [3]: dfa.is_copy
Out[3]: True

In [4]: dfa['A'] /= 2
/usr/local/bin/ipython:1: SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_index,col_indexer] = value instead
  #!/usr/local/bin/python

คุณสามารถตั้งค่าis_copyสถานะเป็นFalseซึ่งจะปิดการตรวจสอบอย่างมีประสิทธิภาพสำหรับวัตถุนั้น :

In [5]: dfa.is_copy = False

In [6]: dfa['A'] /= 2

หากคุณคัดลอกอย่างชัดเจนจะไม่มีการเตือนเพิ่มเติมอีก:

In [7]: dfa = df.ix[:, [1, 0]].copy()

In [8]: dfa['A'] /= 2

รหัส OP แสดงขึ้นด้านบนในขณะที่ถูกต้องตามกฎหมายและอาจเป็นสิ่งที่ฉันทำได้เช่นกันในทางเทคนิคแล้วเป็นกรณีสำหรับคำเตือนนี้และไม่ใช่เชิงบวกที่ผิดพลาด อีกวิธีที่ไม่มีคำเตือนก็คือทำการเลือกผ่านreindexเช่น

quote_df = quote_df.reindex(columns=['STK', ...])

หรือ,

quote_df = quote_df.reindex(['STK', ...], axis=1)  # v.0.21

นุ่นเตือนสำเนา dataframe

เมื่อคุณไปทำสิ่งนี้:

quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

pandas.ix ในกรณีนี้จะส่งคืนดาต้าไฟล์ชื่อเดียว

ค่าใด ๆ ที่คุณตัดสินใจที่จะเปลี่ยนแปลงใน dataframe นี้จะไม่เปลี่ยน dataframe ดั้งเดิม

นี่คือสิ่งที่แพนด้าพยายามเตือนคุณ

ทำไม.ixเป็นความคิดที่ไม่ดี

.ixวัตถุพยายามที่จะทำมากกว่าสิ่งหนึ่งและสำหรับทุกคนที่มีอะไรที่อ่านเกี่ยวกับรหัสสะอาดนี้เป็นกลิ่นแรง

รับ dataframe นี้:

df = pd.DataFrame({"a": [1,2,3,4], "b": [1,1,2,2]})

สองพฤติกรรม:

dfcopy = df.ix[:,["a"]]
dfcopy.a.ix[0] = 2

พฤติกรรมที่หนึ่ง: dfcopyตอนนี้เป็นดาต้าไฟล์แบบสแตนด์อโลน การเปลี่ยนมันจะไม่เปลี่ยนแปลงdf

df.ix[0, "a"] = 3

พฤติกรรมที่สอง: สิ่งนี้จะเปลี่ยน dataframe ดั้งเดิม

ใช้.locแทน

ผู้พัฒนาแพนด้าได้รับการยอมรับว่า.ixวัตถุนั้นมีกลิ่นเหม็น [เก็งกำไร] และจึงสร้างวัตถุใหม่สองชนิดซึ่งช่วยในการเข้าถึงและการกำหนดข้อมูล (สิ่งมีชีวิตอื่น ๆ.iloc)

.loc เร็วกว่าเนื่องจากไม่ได้พยายามสร้างสำเนาของข้อมูล

.loc มีวัตถุประสงค์เพื่อปรับเปลี่ยนฐานข้อมูลที่มีอยู่ของคุณซึ่งเป็นหน่วยความจำที่มีประสิทธิภาพมากขึ้น

.loc คาดเดาได้มันมีพฤติกรรมเดียว

การแก้ไขปัญหา

สิ่งที่คุณทำในตัวอย่างโค้ดของคุณคือการโหลดไฟล์ขนาดใหญ่ที่มีคอลัมน์จำนวนมากจากนั้นทำการแก้ไขให้มีขนาดเล็กลง

pd.read_csvฟังก์ชั่นสามารถช่วยให้คุณออกมีจำนวนมากนี้และยังทำให้การโหลดไฟล์ได้เร็วมาก

ดังนั้นแทนที่จะทำสิ่งนี้

quote_df = pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
quote_df.rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
quote_df = quote_df.ix[:,[0,3,2,1,4,5,8,9,30,31]]

ทำเช่นนี้

columns = ['STK', 'TPrice', 'TPCLOSE', 'TOpen', 'THigh', 'TLow', 'TVol', 'TAmt', 'TDate', 'TTime']
df = pd.read_csv(StringIO(str_of_all), sep=',', usecols=[0,3,2,1,4,5,8,9,30,31])
df.columns = columns

สิ่งนี้จะอ่านคอลัมน์ที่คุณสนใจและตั้งชื่ออย่างถูกต้อง ไม่จำเป็นต้องใช้.ixวัตถุชั่วร้ายในการทำสิ่งมหัศจรรย์

ที่นี่ฉันตอบคำถามโดยตรง วิธีจัดการกับมัน?

ทำ.copy(deep=False)ชิ้นส่วนของคุณ ดูpandas.DataFrame.copy

เดี๋ยวก่อนชิ้นไม่คืนสำเนาหรือ ท้ายที่สุดนี่คือสิ่งที่ข้อความเตือนพยายามที่จะพูด? อ่านคำตอบยาว ๆ :

import pandas as pd
df = pd.DataFrame({'x':[1,2,3]})

สิ่งนี้ให้คำเตือน:

df0 = df[df.x>2]
df0['foo'] = 'bar'

สิ่งนี้ไม่:

df1 = df[df.x>2].copy(deep=False)
df1['foo'] = 'bar'

ทั้งสองdf0และdf1เป็นDataFrameวัตถุ แต่มีบางอย่างเกี่ยวกับพวกเขาแตกต่างกันซึ่งทำให้แพนด้าสามารถพิมพ์คำเตือน เรามาดูกันว่ามันคืออะไร

import inspect
slice= df[df.x>2]
slice_copy = df[df.x>2].copy(deep=False)
inspect.getmembers(slice)
inspect.getmembers(slice_copy)

การใช้เครื่องมือ diff ที่คุณเลือกคุณจะเห็นว่านอกเหนือจากที่อยู่สองแห่งความแตกต่างที่สำคัญเพียงอย่างเดียวคือ:

|          | slice   | slice_copy |
| _is_copy | weakref | None       |

วิธีการที่ตัดสินใจว่าจะเตือนเป็นที่ตรวจสอบDataFrame._check_setitem_copy _is_copyดังนั้นที่นี่คุณไป ทำcopyเพื่อให้ DataFrame _is_copyของคุณไม่ได้

คำเตือนแนะนำให้ใช้.locแต่ถ้าคุณใช้.locในเฟรมที่_is_copyคุณจะยังคงได้รับคำเตือนเดิม ทำให้เข้าใจผิด? ใช่. น่ารำคาญ? พนันได้เลย. มีประโยชน์หรือไม่ อาจเกิดขึ้นเมื่อมีการใช้การกำหนดสายโซ่ แต่ไม่สามารถตรวจจับการมอบหมายลูกโซ่ได้อย่างถูกต้องและพิมพ์คำเตือนโดยไม่เลือกปฏิบัติ

หัวข้อนี้สร้างความสับสนให้กับนุ่น โชคดีที่มันมีทางออกที่ค่อนข้างง่าย

ปัญหาคือมันไม่ชัดเจนเสมอว่าการดำเนินการกรองข้อมูล (เช่น loc) ส่งคืนสำเนาหรือมุมมองของ DataFrame การใช้งาน DataFrame ที่ถูกกรองเพิ่มเติมอาจทำให้เกิดความสับสนได้

วิธีง่ายๆคือ (เว้นแต่คุณจำเป็นต้องทำงานกับชุดข้อมูลขนาดใหญ่มาก):

เมื่อใดก็ตามที่คุณต้องการอัปเดตค่าใด ๆ ให้แน่ใจว่าคุณคัดลอก DataFrame โดยปริยายก่อนกำหนด

df  # Some DataFrame
df = df.loc[:, 0:2]  # Some filtering (unsure whether a view or copy is returned)
df = df.copy()  # Ensuring a copy is made
df[df["Name"] == "John"] = "Johny"  # Assignment can be done now (no warning)

เพื่อลบข้อสงสัยทางออกของฉันคือการทำสำเนาชิ้นส่วนลึกแทนที่จะทำสำเนาแบบปกติ สิ่งนี้อาจไม่สามารถใช้ได้ทั้งนี้ขึ้นอยู่กับบริบทของคุณ (ข้อ จำกัด ของหน่วยความจำ / ขนาดของชิ้น, ความเป็นไปได้ในการลดประสิทธิภาพ - โดยเฉพาะอย่างยิ่งหากสำเนาเกิดขึ้นในลูปเหมือนที่ทำกับฉัน ฯลฯ ... )

เพื่อให้ชัดเจนนี่คือคำเตือนที่ฉันได้รับ:

/opt/anaconda3/lib/python3.6/site-packages/ipykernel/__main__.py:54:
SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame
See the caveats in the documentation:
http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy

ภาพประกอบ

ฉันสงสัยว่าคำเตือนถูกส่งออกไปเนื่องจากคอลัมน์ที่ฉันวางลงบนสำเนาชิ้นหนึ่ง แม้ว่าจะไม่ได้พยายามตั้งค่าในสำเนาของเทคนิค แต่ก็ยังเป็นการดัดแปลงสำเนาของชิ้น ด้านล่างเป็นขั้นตอน (ง่าย) ที่ฉันได้ดำเนินการเพื่อยืนยันข้อสงสัยฉันหวังว่ามันจะช่วยพวกเราที่กำลังพยายามเข้าใจคำเตือน

ตัวอย่างที่ 1: การดร็อปคอลัมน์บนต้นฉบับมีผลกับสำเนา

เรารู้แล้ว แต่สิ่งนี้เป็นเครื่องเตือนใจ นี่ไม่ใช่สิ่งที่เตือนเกี่ยวกับ

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123


>> df2 = df1
>> df2

A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df1 affects df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    B
0   121
1   122
2   123

เป็นไปได้ที่จะหลีกเลี่ยงการเปลี่ยนแปลงใน df1 ที่จะส่งผลกระทบต่อ df2

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

A   B
0   111 121
1   112 122
2   113 123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2
A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df1 does not affect df2
>> df1.drop('A', axis=1, inplace=True)
>> df2
    A   B
0   111 121
1   112 122
2   113 123

ตัวอย่างที่ 2: การวางคอลัมน์บนสำเนาอาจส่งผลกระทบต่อต้นฉบับ

นี่แสดงให้เห็นถึงคำเตือนจริง

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123

>> df2 = df1
>> df2

    A   B
0   111 121
1   112 122
2   113 123

# Dropping a column on df2 can affect df1
# No slice involved here, but I believe the principle remains the same?
# Let me know if not
>> df2.drop('A', axis=1, inplace=True)
>> df1

B
0   121
1   122
2   123

เป็นไปได้ที่จะหลีกเลี่ยงการเปลี่ยนแปลงใน df2 ที่จะส่งผลกระทบต่อ df1

>> data1 = {'A': [111, 112, 113], 'B':[121, 122, 123]}
>> df1 = pd.DataFrame(data1)
>> df1

    A   B
0   111 121
1   112 122
2   113 123

>> import copy
>> df2 = copy.deepcopy(df1)
>> df2

A   B
0   111 121
1   112 122
2   113 123

>> df2.drop('A', axis=1, inplace=True)
>> df1

A   B
0   111 121
1   112 122
2   113 123

ไชโย!

สิ่งนี้น่าจะใช้ได้:

quote_df.loc[:,'TVol'] = quote_df['TVol']/TVOL_SCALE

บางคนอาจต้องการที่จะระงับคำเตือน:

class SupressSettingWithCopyWarning:
    def __enter__(self):
        pd.options.mode.chained_assignment = None

    def __exit__(self, *args):
        pd.options.mode.chained_assignment = 'warn'

with SupressSettingWithCopyWarning():
    #code that produces warning

หากคุณได้กำหนดชิ้นให้กับตัวแปรและต้องการตั้งค่าโดยใช้ตัวแปรดังต่อไปนี้:

df2 = df[df['A'] > 2]
df2['B'] = value

และคุณไม่ต้องการใช้โซลูชัน Jeffs เนื่องจากการคำนวณสภาพของคุณdf2ยาวหรือด้วยเหตุผลอื่นคุณสามารถใช้สิ่งต่อไปนี้:

df.loc[df2.index.tolist(), 'B'] = value

df2.index.tolist() ส่งกลับดัชนีจากรายการทั้งหมดใน df2 ซึ่งจะถูกใช้เพื่อตั้งค่าคอลัมน์ B ในดาต้าเฟรมเดิม

สำหรับฉันปัญหานี้เกิดขึ้นใน <<ตัวอย่างง่าย ๆ ดังต่อไปนี้ และฉันก็สามารถที่จะแก้ปัญหาได้ (หวังว่าจะมีทางออกที่ถูกต้อง):

รหัสเก่าพร้อมคำเตือน:

def update_old_dataframe(old_dataframe, new_dataframe):
    for new_index, new_row in new_dataframe.iterrorws():
        old_dataframe.loc[new_index] = update_row(old_dataframe.loc[new_index], new_row)

def update_row(old_row, new_row):
    for field in [list_of_columns]:
        # line with warning because of chain indexing old_dataframe[new_index][field]
        old_row[field] = new_row[field]  
    return old_row

สิ่งนี้พิมพ์คำเตือนสำหรับสาย old_row[field] = new_row[field]

เนื่องจากแถวในวิธี update_row เป็นประเภทจริงSeriesฉันจึงแทนที่บรรทัดด้วย:

old_row.at[field] = new_row.at[field]

คือวิธีการในการเข้าถึง / Seriesการค้นหาสำหรับ แม้ว่าทั้งสองจะทำงานได้ดีและผลลัพธ์ก็เหมือนกันด้วยวิธีนี้ฉันไม่จำเป็นต้องปิดการใช้งานคำเตือน (= เก็บไว้สำหรับปัญหาการทำดัชนีลูกโซ่อื่นที่อื่น)

ฉันหวังว่านี่อาจช่วยใครซักคน

คุณสามารถหลีกเลี่ยงปัญหาทั้งหมดเช่นนี้ฉันเชื่อว่า:

return (
    pd.read_csv(StringIO(str_of_all), sep=',', names=list('ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefg')) #dtype={'A': object, 'B': object, 'C': np.float64}
    .rename(columns={'A':'STK', 'B':'TOpen', 'C':'TPCLOSE', 'D':'TPrice', 'E':'THigh', 'F':'TLow', 'I':'TVol', 'J':'TAmt', 'e':'TDate', 'f':'TTime'}, inplace=True)
    .ix[:,[0,3,2,1,4,5,8,9,30,31]]
    .assign(
        TClose=lambda df: df['TPrice'],
        RT=lambda df: 100 * (df['TPrice']/quote_df['TPCLOSE'] - 1),
        TVol=lambda df: df['TVol']/TVOL_SCALE,
        TAmt=lambda df: df['TAmt']/TAMT_SCALE,
        STK_ID=lambda df: df['STK'].str.slice(13,19),
        STK_Name=lambda df: df['STK'].str.slice(21,30)#.decode('gb2312'),
        TDate=lambda df: df.TDate.map(lambda x: x[0:4]+x[5:7]+x[8:10]),
    )
)

ใช้มอบหมาย จากเอกสาร : กำหนดคอลัมน์ใหม่ให้กับ DataFrame ส่งคืนออบเจ็กต์ใหม่ (สำเนา) พร้อมคอลัมน์ต้นฉบับทั้งหมดนอกเหนือจากคอลัมน์ใหม่

ดูบทความของ Tom Augspurger เกี่ยวกับวิธีการผูกมัดแพนด้า: https://tomaugspurger.github.io/method-chaining

ติดตามคำถาม / ข้อสังเกตสำหรับผู้เริ่มต้น

อาจเป็นคำอธิบายสำหรับผู้เริ่มต้นคนอื่น ๆ เช่นฉัน (ฉันมาจาก R ซึ่งดูเหมือนว่าจะทำงานแตกต่างกันเล็กน้อยภายใต้ประทุน) รหัสที่ดูไม่เป็นอันตรายและฟังก์ชั่นต่อไปนี้ยังคงสร้างคำเตือน SettingWithCopy และฉันไม่สามารถหาสาเหตุได้ ฉันได้อ่านและเข้าใจสิ่งที่ออกด้วย "การจัดทำดัชนีถูกผูกมัด" แต่โค้ดของฉันไม่มี:

def plot(pdb, df, title, **kw):
    df['target'] = (df['ogg'] + df['ugg']) / 2
    # ...

แต่หลังจากนั้นช้าไปมากฉันดูที่ฟังก์ชัน plot () เรียกว่า:

    df = data[data['anz_emw'] > 0]
    pixbuf = plot(pdb, df, title)

ดังนั้น "df" ไม่ใช่ data frame แต่วัตถุที่จำได้ว่ามันถูกสร้างโดยการจัดทำดัชนี data frame (เช่นนั้นเป็นมุมมอง?) ซึ่งจะทำให้บรรทัดเป็นพล็อต ()

 df['target'] = ...

เทียบเท่ากับ

 data[data['anz_emw'] > 0]['target'] = ...

ซึ่งเป็นการจัดทำดัชนีที่ถูกล่ามโซ่ ฉันเข้าใจถูกไหม?

อย่างไรก็ตาม,

def plot(pdb, df, title, **kw):
    df.loc[:,'target'] = (df['ogg'] + df['ugg']) / 2

ซ่อมมัน.

เนื่องจากคำถามนี้ได้รับการอธิบายและอภิปรายในคำตอบที่มีอยู่แล้วฉันจะให้pandasแนวทางที่เป็นระเบียบแก่ผู้จัดการบริบทโดยใช้pandas.option_context(ลิงก์ไปยังเอกสารและตัวอย่าง ) - ไม่จำเป็นต้องสร้างคลาสที่กำหนดเองด้วยวิธีการที่เป็นอันตรายและระฆังอื่น ๆ และผิวปาก

แรกจัดการรหัสบริบทตัวเอง:

from contextlib import contextmanager

@contextmanager
def SuppressPandasWarning():
    with pd.option_context("mode.chained_assignment", None):
        yield

จากนั้นเป็นตัวอย่าง:

import pandas as pd
from string import ascii_letters

a = pd.DataFrame({"A": list(ascii_letters[0:4]), "B": range(0,4)})

mask = a["A"].isin(["c", "d"])
# Even shallow copy below is enough to not raise the warning, but why is a mystery to me.
b = a.loc[mask]  # .copy(deep=False)

# Raises the `SettingWithCopyWarning`
b["B"] = b["B"] * 2

# Does not!
with SuppressPandasWarning():
    b["B"] = b["B"] * 2

เป็นที่น่าสังเกตว่าผู้อนุมัติทั้งสองไม่ได้ทำการแก้ไขaซึ่งเป็นเรื่องที่น่าแปลกใจสำหรับฉันและแม้แต่สำเนาตื้น ๆ ที่คัดลอกมาด้วย.copy(deep=False)จะป้องกันการเตือนนี้ให้สูงขึ้น (เท่าที่ฉันเข้าใจสำเนาตื้น ๆ ควรแก้ไขอย่างน้อยaเช่นกัน 't. pandasมายากล.)

ฉันได้รับปัญหานี้.apply()เมื่อกำหนด dataframe ใหม่จาก dataframe ที่มีอยู่แล้วที่ฉันใช้.query()วิธีนี้ ตัวอย่างเช่น

prop_df = df.query('column == "value"')
prop_df['new_column'] = prop_df.apply(function, axis=1)

จะส่งคืนข้อผิดพลาดนี้ การแก้ไขที่ดูเหมือนว่าจะแก้ไขข้อผิดพลาดในกรณีนี้คือการเปลี่ยนเป็น:

prop_df = df.copy(deep=True)
prop_df = prop_df.query('column == "value"')
prop_df['new_column'] = prop_df.apply(function, axis=1)

อย่างไรก็ตามการทำเช่นนี้ไม่ได้มีประสิทธิภาพโดยเฉพาะอย่างยิ่งเมื่อใช้ dataframes ขนาดใหญ่เนื่องจากต้องทำสำเนาใหม่

หากคุณใช้.apply()วิธีในการสร้างคอลัมน์ใหม่และค่าของมันการแก้ไขที่แก้ไขข้อผิดพลาดและมีประสิทธิภาพมากขึ้นคือการเพิ่ม.reset_index(drop=True):

prop_df = df.query('column == "value"').reset_index(drop=True)
prop_df['new_column'] = prop_df.apply(function, axis=1)