"ไฟแล้วลืม" python async / รอ


115

บางครั้งมีการดำเนินการแบบอะซิงโครนัสที่ไม่สำคัญบางอย่างที่จำเป็นต้องเกิดขึ้น แต่ฉันไม่ต้องการรอให้เสร็จสิ้น ในการใช้งานโครูทีนของ Tornado คุณสามารถ "ยิงและลืม" ฟังก์ชันอะซิงโครนัสได้โดยเพียงแค่จำyieldคำสำคัญ

ฉันพยายามหาวิธี "ยิงและลืม" ด้วยไวยากรณ์async/ awaitไวยากรณ์ใหม่ที่เผยแพร่ใน Python 3.5 เช่นข้อมูลโค้ดแบบง่าย:

async def async_foo():
    print("Do some stuff asynchronously here...")

def bar():
    async_foo()  # fire and forget "async_foo()"

bar()

สิ่งที่เกิดขึ้นแม้ว่าจะbar()ไม่ดำเนินการและเราได้รับคำเตือนรันไทม์แทน:

RuntimeWarning: coroutine 'async_foo' was never awaited
  async_foo()  # fire and forget "async_foo()"

ที่เกี่ยวข้อง? stackoverflow.com/q/32808893/1639625อันที่จริงฉันคิดว่ามันซ้ำกัน แต่ฉันไม่ต้องการที่จะทำซ้ำค้อนทันที มีใครยืนยันได้ไหม
tobias_k

3
@tobias_k ไม่คิดว่าจะซ้ำกัน คำตอบในลิงค์กว้างเกินไปที่จะตอบสำหรับคำถามนี้
Mikhail Gerasimov

2
(1) กระบวนการ "หลัก" ของคุณยังคงทำงานตลอดไปหรือไม่ หรือ (2) คุณต้องการปล่อยให้กระบวนการของคุณตาย แต่ปล่อยให้งานที่ถูกลืมทำงานต่อไป? หรือ (3) คุณชอบให้กระบวนการหลักของคุณรองานที่ถูกลืมก่อนที่จะสิ้นสุด?
Julien Palard

คำตอบ:


171

UPD:

แทนที่asyncio.ensure_futureด้วยasyncio.create_taskทุกที่ถ้าคุณกำลังใช้งูหลาม> = 3.7 มันใหม่วิธีที่ดีกว่าให้กับงานวางไข่


asyncio ภารกิจ "ยิงและลืม"

ตามเอกสารหลามสำหรับasyncio.Taskมันเป็นไปได้ที่จะเริ่มต้น coroutine บางอย่างที่จะดำเนินการ "ในพื้นหลัง" งานที่สร้างโดยasyncio.ensure_future ฟังก์ชันจะไม่ปิดกั้นการดำเนินการ (ดังนั้นฟังก์ชันจะกลับมาทันที!) นี่ดูเหมือนวิธี "ยิงและลืม" ตามที่คุณร้องขอ

import asyncio


async def async_foo():
    print("async_foo started")
    await asyncio.sleep(1)
    print("async_foo done")


async def main():
    asyncio.ensure_future(async_foo())  # fire and forget async_foo()

    # btw, you can also create tasks inside non-async funcs

    print('Do some actions 1')
    await asyncio.sleep(1)
    print('Do some actions 2')
    await asyncio.sleep(1)
    print('Do some actions 3')


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

เอาท์พุท:

Do some actions 1
async_foo started
Do some actions 2
async_foo done
Do some actions 3

จะเกิดอะไรขึ้นถ้างานกำลังดำเนินการหลังจากการวนซ้ำเหตุการณ์เสร็จสมบูรณ์

โปรดทราบว่า asyncio คาดว่างานจะเสร็จสมบูรณ์ในขณะที่การวนซ้ำเหตุการณ์เสร็จสิ้น ดังนั้นหากคุณจะเปลี่ยนmain()เป็น:

async def main():
    asyncio.ensure_future(async_foo())  # fire and forget

    print('Do some actions 1')
    await asyncio.sleep(0.1)
    print('Do some actions 2')

คุณจะได้รับคำเตือนนี้หลังจากโปรแกรมเสร็จสิ้น:

Task was destroyed but it is pending!
task: <Task pending coro=<async_foo() running at [...]

เพื่อป้องกันไม่ให้คุณสามารถรองานที่รอดำเนินการทั้งหมดหลังจากเสร็จสิ้นการวนซ้ำเหตุการณ์:

async def main():
    asyncio.ensure_future(async_foo())  # fire and forget

    print('Do some actions 1')
    await asyncio.sleep(0.1)
    print('Do some actions 2')


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

    # Let's also finish all running tasks:
    pending = asyncio.Task.all_tasks()
    loop.run_until_complete(asyncio.gather(*pending))

ฆ่างานแทนที่จะรอพวกเขา

บางครั้งคุณไม่ต้องการรองานที่ต้องทำ (เช่นงานบางอย่างอาจถูกสร้างขึ้นเพื่อให้ทำงานตลอดไป) ในกรณีนี้คุณสามารถยกเลิก () ได้แทนที่จะรอ:

import asyncio
from contextlib import suppress


async def echo_forever():
    while True:
        print("echo")
        await asyncio.sleep(1)


async def main():
    asyncio.ensure_future(echo_forever())  # fire and forget

    print('Do some actions 1')
    await asyncio.sleep(1)
    print('Do some actions 2')
    await asyncio.sleep(1)
    print('Do some actions 3')


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

    # Let's also cancel all running tasks:
    pending = asyncio.Task.all_tasks()
    for task in pending:
        task.cancel()
        # Now we should await task to execute it's cancellation.
        # Cancelled task raises asyncio.CancelledError that we can suppress:
        with suppress(asyncio.CancelledError):
            loop.run_until_complete(task)

เอาท์พุท:

Do some actions 1
echo
Do some actions 2
echo
Do some actions 3
echo

ฉันคัดลอกและผ่านบล็อกแรกและเรียกใช้ในตอนท้ายของฉันและด้วยเหตุผลบางอย่างฉันได้รับ: บรรทัดที่ 4 async def async_foo (): ^ ราวกับว่ามีข้อผิดพลาดทางไวยากรณ์บางอย่างกับนิยามฟังก์ชันในบรรทัดที่ 4: "async def async_foo ( ):" ฉันพลาดอะไรไปรึเปล่า?
Gil Allen

3
@GilAllen ไวยากรณ์นี้ใช้ได้เฉพาะใน Python 3.5+ Python 3.4 ต้องการไวยากรณ์แบบเก่า (ดูdocs.python.org/3.4/library/asyncio-task.html ) Python 3.3 และต่ำกว่าไม่รองรับ asyncio เลย
Mikhail Gerasimov

คุณจะฆ่างานในเธรดได้อย่างไร…̣ฉันมีเธรดที่สร้างงานบางอย่างและฉันต้องการฆ่างานที่ค้างอยู่ทั้งหมดเมื่อเธรดตายด้วยstop()วิธีการของมัน
Sardathrion - ต่อต้านการละเมิด SE

@Sardathrion ฉันไม่แน่ใจว่างานชี้ไปที่ใดที่หนึ่งบนเธรดที่สร้างขึ้น แต่ไม่มีอะไรหยุดคุณจากการติดตามด้วยตนเองตัวอย่างเช่นเพียงแค่เพิ่มงานทั้งหมดที่สร้างในเธรดลงในรายการและเมื่อถึงเวลายกเลิกวิธีที่อธิบาย ข้างบน.
Mikhail Gerasimov

2
โปรดทราบว่า "Task.all_tasks () เลิกใช้งานตั้งแต่ Python 3.7 ใช้ asyncio.all_tasks () แทน"
Alexis

12

ขอบคุณ Sergey สำหรับคำตอบที่ชัดเจน นี่คือรุ่นที่ตกแต่งเหมือนกัน

import asyncio
import time

def fire_and_forget(f):
    def wrapped(*args, **kwargs):
        return asyncio.get_event_loop().run_in_executor(None, f, *args, *kwargs)

    return wrapped

@fire_and_forget
def foo():
    time.sleep(1)
    print("foo() completed")

print("Hello")
foo()
print("I didn't wait for foo()")

ผลิต

>>> Hello
>>> foo() started
>>> I didn't wait for foo()
>>> foo() completed

หมายเหตุ: ตรวจสอบคำตอบอื่นของฉันซึ่งเหมือนกันโดยใช้เธรดธรรมดา


ฉันพบว่าการชะลอตัวลงอย่างมากหลังจากใช้วิธีนี้สร้างงานไฟและลืมขนาดเล็ก ~ 5 งานต่อวินาที อย่าใช้สิ่งนี้ในการผลิตสำหรับงานที่ต้องใช้เวลานาน มันจะกิน CPU และหน่วยความจำของคุณ!
pir

10

นี่ไม่ใช่การดำเนินการแบบอะซิงโครนัสทั้งหมด แต่บางทีrun_in_executor ()เหมาะสำหรับคุณ

def fire_and_forget(task, *args, **kwargs):
    loop = asyncio.get_event_loop()
    if callable(task):
        return loop.run_in_executor(None, task, *args, **kwargs)
    else:    
        raise TypeError('Task must be a callable')

def foo():
    #asynchronous stuff here


fire_and_forget(foo)

3
คำตอบที่กระชับดี มันเป็นมูลค่า noting ที่จะเริ่มต้นการเรียกexecutor concurrent.futures.ThreadPoolExecutor.submit()ฉันพูดถึงเพราะการสร้างเธรดนั้นไม่ฟรี การลืมไฟและการลืม 1,000 ครั้งต่อวินาทีอาจทำให้เครียดมากในการจัดการเธรด
Brad Solomon

อ๋อ ฉันไม่ได้ฟังคำเตือนของคุณและพบว่าการชะลอตัวลงอย่างมากหลังจากใช้วิธีนี้สร้างงานไฟและลืมขนาดเล็ก ~ 5 งานต่อวินาที อย่าใช้สิ่งนี้ในการผลิตสำหรับงานที่ต้องใช้เวลานาน มันจะกิน CPU และหน่วยความจำของคุณ!
pir

3

ด้วยเหตุผลบางประการหากคุณไม่สามารถใช้งานได้asyncioนี่คือการใช้งานโดยใช้เธรดธรรมดา ตรวจสอบคำตอบอื่น ๆ ของฉันและคำตอบของ Sergey ด้วย

import threading

def fire_and_forget(f):
    def wrapped():
        threading.Thread(target=f).start()

    return wrapped

@fire_and_forget
def foo():
    time.sleep(1)
    print("foo() completed")

print("Hello")
foo()
print("I didn't wait for foo()")

หากเราต้องการเพียงแค่ฟังก์ชัน fire_and_ forget และไม่มีอะไรอื่นจาก asyncio การใช้ asyncio จะดีกว่าไหม มีประโยชน์อย่างไร?
pir
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.