17370845950

如何实现一个支持嵌套 yield from 的异步生成器
在 async def 中不能直接 yield from 异步生成器,须用 async for + yield 手动展开;或借助 aiostream.stream.chain 等库封装;切勿误用 to_thread 或 run_in_executor。

async def 里直接 yield from 会报错

Python 的 yield from 本身不支持异步迭代器,所以在 async def 函数里写 yield from async_gen() 会触发 SyntaxError: 'yield from' inside async function。这不是语法糖缺失,而是语义冲突:yield from 期望一个同步可迭代对象,而异步生成器返回的是 async_iterator

用 async for + yield 手动展开嵌套

这是最通用、兼容性最好的做法。把外层异步生成器变成驱动内层异步生成器的“调度器”,用 async for 消费子生成器,再用 yield 向上传递值。

示例:

async def inner():
    yield 1
    await asyncio.sleep(0.1)
    yield 2

async def outer():

等价于想写的 yield from inner()

async for x in inner():
    yield x  # 注意:这里 yield 是同步的,但整体函数仍是 async def

  • 必须用 async for,不能用普通 for,否则报 TypeError: 'async_generator' ob

    ject is not iterable
  • yieldasync def 中合法,它让函数返回 async_generator,不是普通生成器
  • 这种写法在 Python 3.6+ 全版本可用,无额外依赖

用 aiostream 或 asyncstdlib 做语法糖封装

如果嵌套层级深、重复多,可以借助第三方库避免样板代码。比如 aiostream.stream.chain 能把多个异步生成器串成一个:

from aiostream import stream

async def gen_a(): yield "a"; yield "aa" async def gen_b(): yield "b"

async def chained(): async for x in stream.chain(gen_a(), gen_b()): yield x

  • aiostreamchainmergemap 都返回新的异步生成器,支持嵌套组合
  • asyncstdlib 提供类似标准库的 itertools.chain 异步版,但注意其 chain 返回的是 AsyncIterator,不能直接 yield from,仍需 async for 驱动
  • 引入依赖前确认项目已接受异步工具链的维护成本

别误用 asyncio.to_thread 或 run_in_executor

有人试图把异步生成器丢进线程里“同步化”来骗过 yield from,比如:yield from await asyncio.to_thread(list, inner()) —— 这完全错误。

  • inner() 返回的是异步生成器对象,不是可 await 的协程,list(inner()) 会报 TypeError: 'async_generator' object is not subscriptable
  • 即使包装成协程,list() 也无法消费异步生成器;必须用 async foraiter/anext
  • 这种思路混淆了并发模型:异步生成器的暂停/恢复靠事件循环,不是线程调度

嵌套异步生成器的本质是控制流委托,不是 I/O 卸载,强行绕到线程只会掩盖问题并引入竞态或死锁。