Python中的异步迭代器与异步生成器

知识点描述
异步迭代器和异步生成器是Python异步编程中的重要概念，它们允许在异步环境中进行迭代操作。异步迭代器通过实现__aiter__和__anext__方法，使得我们能够在异步循环中逐个获取数据；而异步生成器则通过async def定义的生成器函数，使用yield语句来异步产生值。这两个概念在处理流式数据、数据库查询等I/O密集型场景中非常有用。

详细讲解

1. 同步迭代 vs 异步迭代
首先回顾同步迭代：普通迭代器实现__iter__和__next__方法，使用for循环进行迭代。

class SyncCounter:
    def __init__(self, stop):
        self.current = 0
        self.stop = stop
    
    def __iter__(self):
        return self
    
    def __next__(self):
        if self.current < self.stop:
            num = self.current
            self.current += 1
            return num
        raise StopIteration

# 同步迭代
for i in SyncCounter(3):
    print(i)  # 输出: 0, 1, 2

异步迭代的核心理念相同，但每个迭代步骤都可能涉及异步操作（如网络请求、文件读取等）。

2. 异步迭代器实现
异步迭代器需要实现两个特殊方法：

• __aiter__: 返回迭代器对象本身（通常是self）
• __anext__: 必须定义为异步方法（async def），返回下一个值或抛出StopAsyncIteration

import asyncio

class AsyncCounter:
    def __init__(self, stop):
        self.current = 0
        self.stop = stop
    
    def __aiter__(self):
        return self
    
    async def __anext__(self):
        # 模拟异步操作
        await asyncio.sleep(0.1)
        
        if self.current < self.stop:
            num = self.current
            self.current += 1
            return num
        raise StopAsyncIteration

3. 使用异步for循环
异步迭代器必须使用async for语句进行迭代，且必须在异步函数中：

async def main():
    async for i in AsyncCounter(3):
        print(i)  # 输出: 0, 1, 2（每次间隔0.1秒）

# 运行异步程序
asyncio.run(main())

4. 异步生成器简介
异步生成器是定义异步生成器函数的更简洁方式，使用async def和yield组合：

async def async_generator(stop):
    for i in range(stop):
        # 模拟异步操作
        await asyncio.sleep(0.1)
        yield i  # 异步产生值

5. 异步生成器的使用
异步生成器可以像异步迭代器一样使用async for：

async def main():
    async for value in async_generator(3):
        print(value)  # 输出: 0, 1, 2

asyncio.run(main())

6. 异步生成器表达式
类似于同步生成器表达式，Python也支持异步生成器表达式：

async def main():
    # 异步生成器表达式
    async_gen = (i async for i in async_generator(3))
    async for value in async_gen:
        print(value)

7. 实际应用场景示例
假设我们需要从多个URL异步获取数据：

import aiohttp

async def fetch_urls(urls):
    """异步生成器，逐个获取URL内容"""
    async with aiohttp.ClientSession() as session:
        for url in urls:
            async with session.get(url) as response:
                yield await response.text()  # 异步产生响应内容

async def process_data():
    urls = ['http://example.com/1', 'http://example.com/2']
    
    async for content in fetch_urls(urls):
        print(f"获取到数据，长度: {len(content)}")
        # 处理数据...

8. 异步生成器的高级用法
异步生成器支持async for与推导式的结合：

async def main():
    # 异步列表推导式（Python 3.6+）
    results = [data async for data in fetch_urls(urls)]
    
    # 带条件的异步推导式
    filtered = [data async for data in fetch_urls(urls) if len(data) > 100]

9. 错误处理
异步迭代也需要适当的错误处理：

async def main():
    async_iterator = async_generator(5)
    try:
        async for value in async_iterator:
            print(value)
    except Exception as e:
        print(f"迭代过程中出错: {e}")

10. 性能考虑

• 异步迭代适用于I/O密集型任务，而不是CPU密集型任务
• 异步操作可以避免阻塞事件循环，提高并发性能
• 在处理大量小任务时，考虑使用asyncio.gather等批量操作

异步迭代器和生成器为Python异步编程提供了强大的数据流处理能力，特别适合需要逐步处理异步数据的场景。