ขนาดในหน่วยความจำของโครงสร้าง Python


118

มีการอ้างอิงขนาดหน่วยความจำของโครงสร้างข้อมูล Python บนแพลตฟอร์ม 32- และ 64 บิตหรือไม่

ถ้าไม่เช่นนั้นก็คงจะดีถ้ามีใน SO ยิ่งละเอียดยิ่งดี! โครงสร้าง Python ต่อไปนี้ใช้กี่ไบต์ (ขึ้นอยู่กับlenและประเภทเนื้อหาเมื่อเกี่ยวข้อง)

  • int
  • float
  • การอ้างอิง
  • str
  • สตริง Unicode
  • tuple
  • list
  • dict
  • set
  • array.array
  • numpy.array
  • deque
  • วัตถุคลาสรูปแบบใหม่
  • วัตถุคลาสแบบเก่า
  • ... และทุกสิ่งที่ฉันลืม!

(สำหรับคอนเทนเนอร์ที่เอาแต่อ้างอิงไปยังออบเจ็กต์อื่นเราไม่ต้องการนับขนาดของรายการด้วยตนเองเนื่องจากอาจมีการแชร์)

นอกจากนี้ยังมีวิธีรับหน่วยความจำที่อ็อบเจ็กต์ใช้ในรันไทม์ (เรียกซ้ำหรือไม่)?


จำนวนมากของคำอธิบายที่เป็นประโยชน์อาจจะพบได้ที่นี่stackoverflow.com/questions/1059674/python-memory-model ฉันต้องการเห็นภาพรวมที่เป็นระบบมากกว่านี้
LeMiz

3
สำหรับอาร์เรย์ NumPy ใช้a a.nbytes
จะ

หากคุณสนใจในมุมมองแบบกราฟิกของสิ่งนี้ฉันได้สร้างพล็อตไว้ครั้งหนึ่ง: stackoverflow.com/a/30008338/2087463
tmthydvnprt

คำตอบ:


145

คำแนะนำจากคำถามก่อนหน้านี้คือการใช้sys.getsizeof () การอ้างถึง:

>>> import sys
>>> x = 2
>>> sys.getsizeof(x)
14
>>> sys.getsizeof(sys.getsizeof)
32
>>> sys.getsizeof('this')
38
>>> sys.getsizeof('this also')
48

คุณสามารถใช้แนวทางนี้:

>>> import sys
>>> import decimal
>>> 
>>> d = {
...     "int": 0,
...     "float": 0.0,
...     "dict": dict(),
...     "set": set(),
...     "tuple": tuple(),
...     "list": list(),
...     "str": "a",
...     "unicode": u"a",
...     "decimal": decimal.Decimal(0),
...     "object": object(),
... }
>>> for k, v in sorted(d.iteritems()):
...     print k, sys.getsizeof(v)
...
decimal 40
dict 140
float 16
int 12
list 36
object 8
set 116
str 25
tuple 28
unicode 28

2012/09/30

python 2.7 (ลินุกซ์ 32 บิต):

decimal 36
dict 136
float 16
int 12
list 32
object 8
set 112
str 22
tuple 24
unicode 32

python 3.3 (ลินุกซ์ 32 บิต)

decimal 52
dict 144
float 16
int 14
list 32
object 8
set 112
str 26
tuple 24
unicode 26

2016/08/01

OSX, Python 2.7.10 (ค่าเริ่มต้น 23 ต.ค. 2015, 19:19:21) [GCC 4.2.1 Compatible Apple LLVM 7.0.0 (clang-700.0.59.5)] บนดาร์วิน

decimal 80
dict 280
float 24
int 24
list 72
object 16
set 232
str 38
tuple 56
unicode 52

1
ขอบคุณและขออภัยสำหรับการหลอกลวงสำหรับคำถามที่สอง ... แย่เกินไปฉันใช้ 2.5 ไม่ใช่ 2.6 ...
LeMiz

ฉันลืมไปว่าฉันมีกล่องเสมือนที่มี Ubuntu ล่าสุดอยู่! มันแปลกมาก sys.getsizeof (dict) คือ 136 สำหรับฉัน (python 2.6 ทำงานบน kubuntu vm โฮสต์โดย OS X ดังนั้นฉันไม่แน่ใจอะไรเลย)
LeMiz

@ LeMiz: สำหรับฉัน (Python 2.6, Windows XP SP3), sys.getsizeof (dict) -> 436; sys.getsizeof (dict ()) -> 140
John Machin

LeMiz-Kubuntu: python2.6 Python 2.6.2 (release26-maint, 19 เมษายน 2009, 01:56:41) [GCC 4.3.3] บน linux2 พิมพ์ "help", "copyright", "credit" หรือ "license" สำหรับข้อมูลเพิ่มเติม. >>> import sys >>> sys.getsizeof (dict) 436 >>> sys.getsizeof (dict ()) 136
LeMiz

1
ไม่ควรค่าที่จะ0, 0.0, ''และu''เพื่อความมั่นคง?
SilentGhost

37

ฉันใช้pymplerอย่างมีความสุขสำหรับงานดังกล่าว เข้ากันได้กับ Python หลายเวอร์ชันasizeofโดยเฉพาะโมดูลจะกลับไปที่ 2.2!

ตัวอย่างเช่นการใช้ตัวอย่างของ hughdbrown แต่from pympler import asizeofในตอนเริ่มต้นและprint asizeof.asizeof(v)ตอนท้ายฉันเห็น (ระบบ Python 2.5 บน MacOSX 10.5):

$ python pymp.py 
set 120
unicode 32
tuple 32
int 16
decimal 152
float 16
list 40
object 0
dict 144
str 32

เห็นได้ชัดว่ามีการประมาณบางอย่างที่นี่ แต่ฉันพบว่ามีประโยชน์มากสำหรับการวิเคราะห์และปรับแต่งรอยเท้า


1
ความอยากรู้บางอย่าง: ตัวเลขของคุณส่วนใหญ่สูงกว่า 4 วัตถุคือ 0; และทศนิยมจะใหญ่กว่าประมาณ 4 เท่าจากค่าประมาณของคุณ
hughdbrown

1
อ๋อ "4 ที่สูงกว่า" จริงๆแล้วส่วนใหญ่ดูเหมือน "การปัดเศษขึ้นเป็นผลคูณของ 8" ซึ่งฉันเชื่อว่าถูกต้องสำหรับวิธีการทำงานของ malloc ที่นี่ ไม่รู้ว่าทำไมทศนิยมจึงผิดเพี้ยน (มี pympler บน 2.6 ด้วย)
Alex Martelli

2
จริงๆแล้วคุณควรใช้ pympler.asizeof.flatsize () เพื่อรับฟังก์ชันที่คล้ายกันกับ sys.getsizeof () นอกจากนี้ยังมีพารามิเตอร์ align = ที่คุณสามารถใช้ได้ (ซึ่งเป็นค่าเริ่มต้น 8 ตามที่ Alex ชี้ให้เห็น)
ปานรัตน์

@AlexMartelli สวัสดีอเล็กซ์! .. ทำไมขนาดขั้นต่ำของ char ใน python คือ 25 ไบต์ >>> getsizeof('a')ให้25และ>>> getsizeof('ab')ให้26`
Grijesh Chauhan

1
ฉันคิดว่าขนาดเป็นไบต์ แต่ทำไมมันไม่ได้เขียนที่ใดเลยแม้แต่ใน pythonhosted.org/Pympler
Zhomart

35

คำตอบเหล่านี้ล้วนรวบรวมข้อมูลขนาดตื้น ฉันสงสัยว่าผู้เยี่ยมชมคำถามนี้จะจบลงที่นี่เพื่อต้องการตอบคำถาม "วัตถุที่ซับซ้อนนี้มีขนาดใหญ่เพียงใดในความทรงจำ"

มีคำตอบที่ดีที่นี่: https://goshippo.com/blog/measure-real-size-any-python-object/

เส้นหมัด:

import sys

def get_size(obj, seen=None):
    """Recursively finds size of objects"""
    size = sys.getsizeof(obj)
    if seen is None:
        seen = set()
    obj_id = id(obj)
    if obj_id in seen:
        return 0
    # Important mark as seen *before* entering recursion to gracefully handle
    # self-referential objects
    seen.add(obj_id)
    if isinstance(obj, dict):
        size += sum([get_size(v, seen) for v in obj.values()])
        size += sum([get_size(k, seen) for k in obj.keys()])
    elif hasattr(obj, '__dict__'):
        size += get_size(obj.__dict__, seen)
    elif hasattr(obj, '__iter__') and not isinstance(obj, (str, bytes, bytearray)):
        size += sum([get_size(i, seen) for i in obj])
    return size

ใช้ดังนี้:

In [1]: get_size(1)
Out[1]: 24

In [2]: get_size([1])
Out[2]: 104

In [3]: get_size([[1]])
Out[3]: 184

หากคุณต้องการทราบแบบจำลองหน่วยความจำของ Python ให้ลึกซึ้งยิ่งขึ้นมีบทความดีๆที่มีข้อมูลโค้ด "ขนาดรวม" ที่คล้ายกันซึ่งเป็นส่วนหนึ่งของคำอธิบายที่ยาวขึ้น: https://code.tutsplus.com/tutorials/understand-how- มากหน่วยความจำของคุณหลามวัตถุการใช้งาน - CMS-25609


ดังนั้นสิ่งนี้ควรให้จำนวนหน่วยความจำทั้งหมดที่ใช้โดยตัวอย่างเช่น dict ที่มีอาร์เรย์หลายตัวและ / หรือ dict อื่น ๆ ?
Charly Empereur-mot

1
@ CharlyEmpereur-mot ครับ
Kobold

คำตอบที่ดี อย่างไรก็ตามดูเหมือนว่าจะใช้ไม่ได้กับวัตถุ Cython ที่คอมไพล์แล้ว ในกรณีของฉันวิธีนี้จะส่งคืน96ตัวชี้ไปยังวัตถุ cython ในหน่วยความจำ
ferdynator

8

ลองใช้ memory profiler โปรไฟล์หน่วยความจำ

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

1
ความแม่นยำน่าจะเป็น 1 / 100MB หรือ 10.24 ไบต์ สิ่งนี้ใช้ได้ดีสำหรับการวิเคราะห์ระดับมหภาค แต่ฉันสงสัยว่าความแม่นยำดังกล่าวจะนำไปสู่การเปรียบเทียบโครงสร้างข้อมูลที่ถูกต้องตามที่ถามในคำถาม
Zoran Pavlovic

7

นอกจากนี้คุณสามารถใช้โมดูลปลาหางนกยูง

>>> from guppy import hpy; hp=hpy()
>>> hp.heap()
Partition of a set of 25853 objects. Total size = 3320992 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0  11731  45   929072  28    929072  28 str
     1   5832  23   469760  14   1398832  42 tuple
     2    324   1   277728   8   1676560  50 dict (no owner)
     3     70   0   216976   7   1893536  57 dict of module
     4    199   1   210856   6   2104392  63 dict of type
     5   1627   6   208256   6   2312648  70 types.CodeType
     6   1592   6   191040   6   2503688  75 function
     7    199   1   177008   5   2680696  81 type
     8    124   0   135328   4   2816024  85 dict of class
     9   1045   4    83600   3   2899624  87 __builtin__.wrapper_descriptor
<90 more rows. Type e.g. '_.more' to view.>

และ:

>>> hp.iso(1, [1], "1", (1,), {1:1}, None)
Partition of a set of 6 objects. Total size = 560 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0      1  17      280  50       280  50 dict (no owner)
     1      1  17      136  24       416  74 list
     2      1  17       64  11       480  86 tuple
     3      1  17       40   7       520  93 str
     4      1  17       24   4       544  97 int
     5      1  17       16   3       560 100 types.NoneType

0

นอกจากนี้เรายังสามารถใช้tracemallocโมดูลจากไลบรารีมาตรฐาน Python ดูเหมือนว่าจะทำงานได้ดีสำหรับออบเจ็กต์ที่มีการใช้งานคลาสใน C (ไม่เหมือนกับ Pympler เป็นต้น)


-1

เมื่อคุณใช้dir([object])ฟังก์ชันในตัวคุณจะได้รับ__sizeof__ฟังก์ชันในตัว

>>> a = -1
>>> a.__sizeof__()
24
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.