ฉันจะใช้การร้องขอใน asyncio ได้อย่างไร?

ฉันต้องการทำงานคำขอ http คู่ขนานในasyncioแต่ฉันพบว่าpython-requestsจะบล็อกการวนซ้ำเหตุการณ์ของasyncio. ฉันพบaiohttpแต่ไม่สามารถให้บริการคำขอ http โดยใช้พร็อกซี http

ดังนั้นฉันต้องการทราบว่ามีวิธีทำคำขอ http แบบอะซิงโครนัสด้วยความช่วยเหลือของasyncio.

ในการใช้คำร้องขอ (หรือไลบรารีการบล็อกอื่น ๆ ) กับ asyncio คุณสามารถใช้BaseEventLoop.run_in_executorเพื่อรันฟังก์ชันในเธรดอื่นและให้ผลลัพธ์จากมันเพื่อให้ได้ผลลัพธ์ ตัวอย่างเช่น:

import asyncio
import requests

@asyncio.coroutine
def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = yield from future1
    response2 = yield from future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

สิ่งนี้จะได้รับคำตอบทั้งสองแบบพร้อมกัน

ด้วย python 3.5 คุณสามารถใช้ new await/ asyncsyntax:

import asyncio
import requests

async def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = await future1
    response2 = await future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

ดูPEP0492สำหรับข้อมูลเพิ่มเติม

aiohttpสามารถใช้กับพร็อกซี HTTP ได้แล้ว:

import asyncio
import aiohttp


@asyncio.coroutine
def do_request():
    proxy_url = 'http://localhost:8118'  # your proxy address
    response = yield from aiohttp.request(
        'GET', 'http://google.com',
        proxy=proxy_url,
    )
    return response

loop = asyncio.get_event_loop()
loop.run_until_complete(do_request())

คำตอบข้างต้นยังคงใช้โครูทีนสไตล์ Python 3.4 แบบเก่า นี่คือสิ่งที่คุณจะเขียนหากคุณมี Python 3.5+

aiohttp รองรับ http proxy ทันที

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
            'http://python.org',
            'https://google.com',
            'http://yifei.me'
        ]
    tasks = []
    async with aiohttp.ClientSession() as session:
        for url in urls:
            tasks.append(fetch(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            print(html[:100])

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

ขณะนี้คำขอไม่รองรับasyncioและไม่มีแผนที่จะให้การสนับสนุนดังกล่าว เป็นไปได้ว่าคุณสามารถใช้กำหนดเอง "การขนส่งอะแดปเตอร์" (ตามที่กล่าวไว้ที่นี่ ) asyncioที่รู้วิธีการใช้งาน

ถ้าฉันพบว่าตัวเองมีบางครั้งก็เป็นสิ่งที่ฉันอาจมองเข้าไป แต่ฉันไม่สามารถสัญญาอะไรได้

มีกรณีที่ดีของ async / await ลูปและเธรดในบทความโดย Pimin Konstantin Kefaloukos คำขอ HTTP แบบขนานอย่างง่ายด้วย Python และ asyncio :

เพื่อลดเวลาในการดำเนินการทั้งหมดให้น้อยที่สุดเราสามารถเพิ่มขนาดของเธรดพูลเพื่อให้ตรงกับจำนวนคำขอที่เราต้องทำ โชคดีที่นี่เป็นเรื่องง่ายที่จะทำอย่างที่เราจะเห็นต่อไป รายการโค้ดด้านล่างเป็นตัวอย่างวิธีสร้างคำร้องขอ HTTP แบบอะซิงโครนัสยี่สิบรายการโดยมีเธรดพูลของเธรดผู้ปฏิบัติงานยี่สิบเธรด:

# Example 3: asynchronous requests with larger thread pool
import asyncio
import concurrent.futures
import requests

async def main():

    with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:

        loop = asyncio.get_event_loop()
        futures = [
            loop.run_in_executor(
                executor, 
                requests.get, 
                'http://example.org/'
            )
            for i in range(20)
        ]
        for response in await asyncio.gather(*futures):
            pass


loop = asyncio.get_event_loop()
loop.run_until_complete(main())