เหตุใดรายการที่เหมือนกันสองรายการจึงมีหน่วยความจำแตกต่างกัน

ฉันสร้างสองรายการl1และl2แต่แต่ละคนด้วยวิธีการสร้างที่แตกต่างกัน:

import sys

l1 = [None] * 10
l2 = [None for _ in range(10)]

print('Size of l1 =', sys.getsizeof(l1))
print('Size of l2 =', sys.getsizeof(l2))

แต่ผลลัพธ์ที่ทำให้ฉันประหลาดใจ:

Size of l1 = 144
Size of l2 = 192

รายการที่สร้างด้วย list comprehension มีขนาดใหญ่กว่าในหน่วยความจำ แต่ทั้งสองรายการนั้นเหมือนกันใน Python

ทำไมถึงเป็นอย่างนั้น? นี่เป็นสิ่งภายใน CPython หรือมีคำอธิบายอื่น ๆ

เมื่อคุณเขียน[None] * 10Python รู้ว่ามันจะต้องมีรายการของวัตถุ 10 รายการดังนั้นมันจึงจัดสรรอย่างนั้น

เมื่อคุณใช้ list comprehension Python จะไม่รู้ว่าจำเป็นต้องใช้มากแค่ไหน ดังนั้นจึงค่อย ๆ เพิ่มรายการตามที่มีการเพิ่มองค์ประกอบ สำหรับการจัดสรรใหม่แต่ละครั้งจะจัดสรรพื้นที่มากกว่าที่จำเป็นในทันทีเพื่อให้ไม่ต้องจัดสรรใหม่สำหรับแต่ละองค์ประกอบ รายการผลลัพธ์น่าจะค่อนข้างใหญ่กว่าที่ต้องการ

คุณสามารถเห็นพฤติกรรมนี้เมื่อเปรียบเทียบรายการที่สร้างด้วยขนาดใกล้เคียงกัน:

>>> sys.getsizeof([None]*15)
184
>>> sys.getsizeof([None]*16)
192
>>> sys.getsizeof([None for _ in range(15)])
192
>>> sys.getsizeof([None for _ in range(16)])
192
>>> sys.getsizeof([None for _ in range(17)])
264

คุณสามารถเห็นได้ว่าวิธีแรกจัดสรรสิ่งที่จำเป็นในขณะที่วิธีที่สองจะเติบโตเป็นระยะ ในตัวอย่างนี้จัดสรรให้เพียงพอสำหรับองค์ประกอบ 16 องค์ประกอบและต้องจัดสรรใหม่เมื่อถึงวันที่ 17

ดังที่ระบุไว้ในคำถามนี้การใช้ list-comprehension list.appendภายใต้ประทุนนั้นจะเรียกเมธอด list-resize ซึ่ง overallocates

ในการสาธิตสิ่งนี้ให้กับตัวคุณเองคุณสามารถใช้ตัวdisแยกวิเคราะห์:

>>> code = compile('[x for x in iterable]', '', 'eval')
>>> import dis
>>> dis.dis(code)
  1           0 LOAD_CONST               0 (<code object <listcomp> at 0x10560b810, file "", line 1>)
              2 LOAD_CONST               1 ('<listcomp>')
              4 MAKE_FUNCTION            0
              6 LOAD_NAME                0 (iterable)
              8 GET_ITER
             10 CALL_FUNCTION            1
             12 RETURN_VALUE

Disassembly of <code object <listcomp> at 0x10560b810, file "", line 1>:
  1           0 BUILD_LIST               0
              2 LOAD_FAST                0 (.0)
        >>    4 FOR_ITER                 8 (to 14)
              6 STORE_FAST               1 (x)
              8 LOAD_FAST                1 (x)
             10 LIST_APPEND              2
             12 JUMP_ABSOLUTE            4
        >>   14 RETURN_VALUE
>>>

แจ้งให้ทราบLIST_APPENDopcode ในการถอดชิ้นส่วนของ<listcomp>วัตถุรหัส จากเอกสาร :

LIST_APPEND (i)

โทรlist.append(TOS[-i], TOS). ใช้เพื่อสร้างรายการความเข้าใจ

ตอนนี้สำหรับการดำเนินการรายการซ้ำเรามีคำแนะนำเกี่ยวกับสิ่งที่เกิดขึ้นถ้าเราพิจารณา:

>>> import sys
>>> sys.getsizeof([])
64
>>> 8*10
80
>>> 64 + 80
144
>>> sys.getsizeof([None]*10)
144

ดังนั้นจึงดูเหมือนว่าจะสามารถที่จะตรงจัดสรรขนาด เมื่อมองไปที่ซอร์สโค้ดเราจะเห็นว่านี่คือสิ่งที่เกิดขึ้นจริง:

static PyObject *
list_repeat(PyListObject *a, Py_ssize_t n)
{
    Py_ssize_t i, j;
    Py_ssize_t size;
    PyListObject *np;
    PyObject **p, **items;
    PyObject *elem;
    if (n < 0)
        n = 0;
    if (n > 0 && Py_SIZE(a) > PY_SSIZE_T_MAX / n)
        return PyErr_NoMemory();
    size = Py_SIZE(a) * n;
    if (size == 0)
        return PyList_New(0);
    np = (PyListObject *) PyList_New(size);

คือที่นี่: size = Py_SIZE(a) * n;. ส่วนที่เหลือของฟังก์ชั่นเพียงแค่เติมอาร์เรย์

ไม่มีคือบล็อกของหน่วยความจำ แต่ไม่ใช่ขนาดที่ระบุไว้ล่วงหน้า นอกจากนั้นยังมีระยะห่างพิเศษในอาร์เรย์ระหว่างองค์ประกอบอาร์เรย์ คุณสามารถเห็นสิ่งนี้ด้วยตัวคุณเองโดยเรียกใช้:

for ele in l2:
    print(sys.getsizeof(ele))

>>>>16
16
16
16
16
16
16
16
16
16

ซึ่งไม่ได้รวมขนาดของ l2 แต่ค่อนข้างน้อย

print(sys.getsizeof([None]))
72

l1และนี่คือมากขึ้นกว่าหนึ่งในสิบของขนาดของ

หมายเลขของคุณควรแตกต่างกันไปขึ้นอยู่กับทั้งรายละเอียดของระบบปฏิบัติการและรายละเอียดการใช้หน่วยความจำปัจจุบันในระบบปฏิบัติการของคุณ ขนาดของ [ไม่มี] ไม่สามารถมีขนาดใหญ่กว่าหน่วยความจำที่อยู่ติดกันซึ่งมีการตั้งค่าตัวแปรให้ถูกจัดเก็บและตัวแปรอาจต้องถูกย้ายหากมีการจัดสรรแบบไดนามิกในภายหลังเพื่อให้ใหญ่ขึ้น