วิธีง่ายๆในการวัดเวลาดำเนินการของเซลล์ในโน้ตบุ๊ก ipython

ฉันต้องการรับเวลาในการดำเนินการของเซลล์นอกเหนือจากการส่งออกดั้งเดิมจากเซลล์

ด้วยเหตุนี้ฉันพยายาม%%timeit -r1 -n1แต่ก็ไม่ได้เปิดเผยตัวแปรที่กำหนดไว้ภายในเซลล์

%%time ใช้ได้กับเซลล์ซึ่งมีเพียง 1 ข้อความเท่านั้น

In[1]: %%time
       1
CPU times: user 4 µs, sys: 0 ns, total: 4 µs
Wall time: 5.96 µs
Out[1]: 1

In[2]: %%time
       # Notice there is no out result in this case.
       x = 1
       x
CPU times: user 3 µs, sys: 0 ns, total: 3 µs
Wall time: 5.96 µs

วิธีที่ดีที่สุดที่จะทำคืออะไร?

ปรับปรุง

ฉันใช้Execute Time ใน Nbextensionมาระยะหนึ่งแล้ว มันเยี่ยมมาก

ใช้ความมหัศจรรย์ของเซลล์และโปรเจ็กต์นี้ใน Github โดย Phillip Cloud:

โหลดโดยการวางไว้ที่ด้านบนสุดของโน้ตบุ๊กหรือวางไว้ในไฟล์ปรับแต่งของคุณหากคุณต้องการโหลดโดยค่าเริ่มต้น:

%install_ext https://raw.github.com/cpcloud/ipython-autotime/master/autotime.py
%load_ext autotime

หากโหลดแล้วทุกเอาต์พุตของการประมวลผลเซลล์ที่ตามมาจะรวมเวลาเป็นนาทีและวินาทีเพื่อดำเนินการ

วิธีเดียวที่ฉันพบเพื่อเอาชนะปัญหานี้คือการดำเนินการคำสั่งสุดท้ายด้วยการพิมพ์

อย่าลืมว่าเซลล์เริ่มต้นด้วยความมหัศจรรย์และความมหัศจรรย์เส้นเริ่มต้นด้วย%%%

%%time
clf = tree.DecisionTreeRegressor().fit(X_train, y_train)
res = clf.predict(X_test)
print(res)

โปรดสังเกตว่าการเปลี่ยนแปลงใด ๆ ที่ดำเนินการภายในเซลล์จะไม่นำมาพิจารณาในเซลล์ถัดไปสิ่งที่ใช้งานได้ง่ายเมื่อมีไปป์ไลน์:

%timeและ%timeitตอนนี้มาเป็นส่วนหนึ่งของคำสั่งเวทในตัวของ ipython

วิธีที่ง่ายกว่าคือการใช้ปลั๊กอิน ExecuteTime ในแพ็คเกจ jupyter_contrib_nbextensions

pip install jupyter_contrib_nbextensions
jupyter contrib nbextension install --user
jupyter nbextension enable execute_time/ExecuteTime

ฉันเพิ่งเพิ่ม%%timeที่จุดเริ่มต้นของเซลล์และมีเวลา คุณสามารถใช้งานคลัสเตอร์ Jupyter Spark กับสภาพแวดล้อมเสมือนได้ เพียงเพิ่ม%%timeที่ด้านบนสุดของเซลล์และคุณจะได้ผลลัพธ์ ในกลุ่มประกายโดยใช้ Jupyter ฉันเพิ่มไปด้านบนของเซลล์และฉันได้ผลลัพธ์ดังนี้: -

[1]  %%time
     import pandas as pd
     from pyspark.ml import Pipeline
     from pyspark.ml.classification import LogisticRegression
     import numpy as np
     .... code ....

Output :-

CPU times: user 59.8 s, sys: 4.97 s, total: 1min 4s
Wall time: 1min 18s

import time
start = time.time()
"the code you want to test stays here"
end = time.time()
print(end - start)

คุณสามารถใช้timeitฟังก์ชั่นเวทย์มนตร์สำหรับการที่

%timeit CODE_LINE

หรือบนเซลล์

%%timeit 

SOME_CELL_CODE

ตรวจสอบฟังก์ชั่นมายากล IPython เพิ่มเติมได้ที่https://nbviewer.jupyter.org/github/ipython/ipython/blob/1.x/examples/notebooks/Cell%20Magics.ipynb

มันไม่ได้สวยงามอย่างแน่นอน แต่ไม่มีซอฟต์แวร์เสริม

class timeit():
    from datetime import datetime
    def __enter__(self):
        self.tic = self.datetime.now()
    def __exit__(self, *args, **kwargs):
        print('runtime: {}'.format(self.datetime.now() - self.tic))

จากนั้นคุณสามารถเรียกใช้เช่น:

with timeit():
    # your code, e.g., 
    print(sum(range(int(1e7))))

% 49999995000000
% runtime: 0:00:00.338492

บางครั้งการจัดรูปแบบที่แตกต่างกันในเซลล์เมื่อใช้print(res)แต่ jupyter / ipython displayมาพร้อมกับ ดูตัวอย่างของความแตกต่างของการจัดรูปแบบการใช้หมีแพนด้าด้านล่าง

%%time
import pandas as pd 
from IPython.display import display

df = pd.DataFrame({"col0":{"a":0,"b":0}
              ,"col1":{"a":1,"b":1}
              ,"col2":{"a":2,"b":2}
             })

#compare the following
print(df)
display(df)

displayคำสั่งสามารถเก็บรักษาการจัดรูปแบบ

คุณอาจต้องการดูคำสั่งเวทมนต์ของงูใหญ่%prunที่ให้บางอย่างเช่น -

def sum_of_lists(N):
    total = 0
    for i in range(5):
        L = [j ^ (j >> i) for j in range(N)]
        total += sum(L)
    return total

แล้วก็

%prun sum_of_lists(1000000)

จะกลับมา

14 function calls in 0.714 seconds  

Ordered by: internal time      

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    5    0.599    0.120    0.599    0.120 <ipython-input-19>:4(<listcomp>)
    5    0.064    0.013    0.064    0.013 {built-in method sum}
    1    0.036    0.036    0.699    0.699 <ipython-input-19>:1(sum_of_lists)
    1    0.014    0.014    0.714    0.714 <string>:1(<module>)
    1    0.000    0.000    0.714    0.714 {built-in method exec}

ฉันพบว่ามีประโยชน์เมื่อทำงานกับโค้ดจำนวนมาก

เมื่อมีปัญหาในสิ่งที่หมายถึงสิ่งที่:

?%timeit หรือ ??timeit

วิธีรับรายละเอียด:

Usage, in line mode:
  %timeit [-n<N> -r<R> [-t|-c] -q -p<P> -o] statement
or in cell mode:
  %%timeit [-n<N> -r<R> [-t|-c] -q -p<P> -o] setup_code
  code
  code...

Time execution of a Python statement or expression using the timeit
module.  This function can be used both as a line and cell magic:

- In line mode you can time a single-line statement (though multiple
  ones can be chained with using semicolons).

- In cell mode, the statement in the first line is used as setup code
  (executed but not timed) and the body of the cell is timed.  The cell
  body has access to any variables created in the setup code.

หากคุณต้องการพิมพ์เวลาดำเนินการของเซลล์ผนังนี่เป็นเคล็ดลับใช้

%%time
<--code goes here-->

แต่ที่นี่ให้แน่ใจว่าที่เวลา %%เป็นหน้าที่มายากลเพื่อวางมันไว้ที่บรรทัดแรกในรหัสของคุณ

หากคุณใส่รหัสหลังจากบรรทัดของคุณมันจะทำให้เกิดข้อผิดพลาดในการใช้งานและจะไม่ทำงาน