แนะนำหน่วยความจำ Python ใด? [ปิด]

ฉันต้องการทราบการใช้หน่วยความจำของแอปพลิเคชั่น Python ของฉันและต้องการทราบว่าการบล็อกโค้ด / ส่วนหรือวัตถุใดที่ใช้หน่วยความจำมากที่สุด การค้นหาของ Google แสดงโฆษณาหนึ่งคือPython Memory Validator (Windows เท่านั้น)

และคนที่มาเปิดPySizerและHeapy

ฉันไม่ได้ลองใครเลยฉันอยากรู้ว่าอันไหนดีที่สุดในการพิจารณา:

1. ให้รายละเอียดมากที่สุด

2. ฉันต้องทำอย่างน้อยหรือไม่มีการเปลี่ยนแปลงรหัสของฉัน

Heapyนั้นใช้ง่ายมาก ในบางจุดของรหัสคุณต้องเขียนสิ่งต่อไปนี้:

from guppy import hpy
h = hpy()
print(h.heap())

สิ่งนี้ให้ผลลัพธ์บางอย่างเช่นนี้:

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

นอกจากนี้คุณยังสามารถค้นหาว่าวัตถุใดถูกอ้างอิงและรับสถิติเกี่ยวกับเรื่องนั้น แต่อย่างใดเอกสารที่ค่อนข้างเบาบาง

มีเบราว์เซอร์กราฟิกเช่นกันเขียนเป็น Tk

เนื่องจากไม่มีใครพูดถึงมันฉันจะชี้ไปที่โมดูลmemory_profilerซึ่งสามารถพิมพ์รายงานการใช้หน่วยความจำแบบทีละบรรทัดและทำงานบน Unix และ Windows (ต้องการ psutil ในอันสุดท้าย) ผลลัพธ์ไม่ได้มีรายละเอียดมากนัก แต่เป้าหมายคือเพื่อให้ภาพรวมของรหัสที่ใช้หน่วยความจำมากขึ้นและไม่ได้วิเคราะห์อย่างละเอียดเกี่ยวกับวัตถุที่จัดสรร

หลังจากตกแต่งฟังก์ชั่นของคุณด้วย@profileและเรียกใช้รหัสของคุณด้วยการ-m memory_profilerตั้งค่าสถานะมันจะพิมพ์รายงานทีละบรรทัดดังนี้:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

ผมขอแนะนำให้Dowser มันง่ายมากในการติดตั้งและคุณต้องไม่มีการเปลี่ยนแปลงรหัสของคุณ คุณสามารถดูจำนวนวัตถุของแต่ละประเภทผ่านเวลาดูรายการวัตถุสดดูการอ้างอิงไปยังวัตถุสดทั้งหมดได้จากเว็บอินเตอร์เฟสที่เรียบง่าย

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

คุณนำเข้า memdebug และโทร memdebug.start นั่นคือทั้งหมดที่

ฉันไม่ได้ลอง PySizer หรือ Heapy ฉันขอขอบคุณบทวิจารณ์ของผู้อื่น

UPDATE

รหัสข้างต้นสำหรับCherryPy 2.X, วิธีการได้ถูกถอดออกและไม่ได้ใช้ธง ดังนั้นหากคุณกำลังใช้CherryPy 3.Xserver.quickstartengine.startblockingCherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

พิจารณาไลบรารีobjgraph (ดูhttp://www.lshift.net/blog/2008/11/14/tracing-python-memory-leaksสำหรับกรณีการใช้งานตัวอย่าง)

Muppyคือ (อีกอัน) Memory Profiler สำหรับ Python จุดเน้นของชุดเครื่องมือนี้มีการระบุการรั่วไหลของหน่วยความจำ

Muppy พยายามช่วยนักพัฒนาในการจำการรั่วไหลของแอพพลิเคชั่น Python ช่วยให้สามารถติดตามการใช้งานหน่วยความจำระหว่างรันไทม์และการระบุวัตถุที่รั่ว นอกจากนี้มีการจัดเตรียมเครื่องมือที่อนุญาตให้ค้นหาตำแหน่งของวัตถุที่ไม่ได้วางจำหน่าย

ฉันกำลังพัฒนา profiler หน่วยความจำสำหรับ Python ชื่อ memprof:

http://jmdana.github.io/memprof/

จะช่วยให้คุณสามารถบันทึกและลงจุดการใช้งานหน่วยความจำของตัวแปรของคุณในระหว่างการดำเนินการตามวิธีการตกแต่ง คุณเพียงแค่ต้องนำเข้าห้องสมุดโดยใช้:

from memprof import memprof

และตกแต่งวิธีการของคุณโดยใช้:

@memprof

นี่คือตัวอย่างเกี่ยวกับลักษณะของแปลง:

โครงการโฮสต์ใน GitHub:

https://github.com/jmdana/memprof

ฉันพบว่าMeliaeนั้นทำงานได้ดีกว่า Heapy หรือ PySizer หากคุณกำลังใช้งานเว็บแอพพลิเคชั่น wsgi อยู่Dozerเป็นมิดเดิ้ลแวร์ห่อหุ้มของ Dowser

ลองใช้โครงการ pytracemallocซึ่งจัดเตรียมการใช้หน่วยความจำต่อหมายเลขบรรทัด Python

แก้ไข (2014/04): ตอนนี้มี Qt GUI เพื่อวิเคราะห์ภาพรวม