如何利用asyncio库解决常见问题并实践案例？

本文详细介绍了在使用asyncio库编写异步程序时常见的错误和问题，并进一步通过实践案例进行分析和讨论，以便在项目中更有效地应用asyncio库。有关asyncio库的详细介绍，可参考：Python 异步编程库 asyncio 使用指北。 目录1 asyncio程序的常见错误1.1 试图直接调用并运行协程1.2 主协程过早退出1.3 错误使用asyncio的低级API1.4 程序出现竞争条件或死锁问题1.4.1 竞争条件问题1.4.2 死锁问题2 asyncio程序的常见问题2.1 任务的等待、停止、结果获取2.1.1 如何等待任务2.1.2 何时停止任务2.1.3 如何获取任务的返回值2.2 如何在后台运行和等待任务2.2.1 如何在后台运行任务2.2.2 如何等待所有后台任务2.3 任务的延迟后运行和后续运行2.3.1 任务的延迟后运行2.3.2 任务的后续运行2.4 如何显示运行任务的进度2.4.1 基于回调函数的任务进度显示2.4.2 基于tqdm库的任务进度显示2.5 如何在asyncio中执行阻塞I/O或CPU密集型函数2.5.1 使用 asyncio.to_thread()2.5.2 使用 loop.run_in_executor()2.6 Python协程：操作系统原生支持吗3 应用实例3.1 在基于线程的程序中调用asyncio代码3.2 基于asyncio实现多核异步处理3.3 图片下载器3.4 生产者消费者模型4 参考 1 asyncio程序的常见错误 本节展示了在使用asyncio模块时，开发人员常遇到的一些常见错误示例。以下是四个最常见的异步编程错误： 直接调用并运行协程。 主协程过早退出。 错误使用asyncio的低级API。 程序出现竞争条件或死锁问题。 1.1 试图直接调用并运行协程 协程通常通过async def定义，如下所示： # 自定义协程 async def custom_coro(): print('hi there') 若直接像函数一样调用该协程，通常不会执行预期的操作，而是创建一个协程对象。这种调用方式不会触发协程的执行： # 错误：像函数一样调用协程 custom_coro() # 这只是创建了一个协程对象，并不会执行 此时，返回的是一个协程对象，而不是立即执行协程主体，这忽略协程必须在事件循环中运行。如果协程未被执行，系统将发出以下运行时警告： sys:1: RuntimeWarning: coroutine 'custom_coro' was never awaited 要正确执行协程，需要在asyncio事件循环中等待该对象。例如，使用asyncio.run()启动事件循环来执行协程： # 正确：通过 asyncio.run() 运行协程 import asyncio asyncio.run(custom_coro()) 另一种执行协程方法是通过await表达式在现有协程中挂起并调度其他协程。例如，定义一个新的协程，在其中调用 custom_coro()： # 正确：在协程中使用 await 调度另一个协程 async def main(): await custom_coro() # 使用 asyncio.run 启动事件循环 asyncio.run(main()) 1.2 主协程过早退出 在异步编程中，任务的执行可能无法按预期及时完成。通过asyncio.create_task()可以并行运行多个协程，但如果主协程提前退出，这些任务可能会被强制中止。为确保所有任务能够在主协程退出前完成，主协程应在无其他活动时显式等待剩余任务的完成。可以使用asyncio.all_tasks()来获取当前事件循环中的所有任务，并在移除主协程本身后，通过asyncio.wait()等待其他任务的执行结果。如果不移除当前协程，asyncio.wait会等待所有任务完成，包括当前协程，从而导致程序不退出（死锁）。