Python中的并发编程模式：线程池与进程池（concurrent.futures）详解

1. 问题背景与概念引入

• 并发编程用于提升I/O密集型或CPU密集型任务的执行效率
• 直接创建线程/进程存在资源开销大、管理复杂的痛点
• concurrent.futures模块提供高层接口，简化线程/进程池的管理

2. 核心组件解析

• Executor抽象类：定义线程池（ThreadPoolExecutor）和进程池（ProcessPoolExecutor）的通用接口
• Future对象：代表异步操作的未来结果，提供状态查询和结果获取方法
• 提交方式：
  • submit(func, *args)：提交单个任务，返回Future对象
  • map(func, iterable)：批量提交任务，按顺序返回结果

3. ThreadPoolExecutor线程池详解

from concurrent.futures import ThreadPoolExecutor
import time

def task(name):
    print(f"Executing task {name} in thread")
    time.sleep(1)
    return f"Result of {name}"

# 基础用法
with ThreadPoolExecutor(max_workers=3) as executor:
    future = executor.submit(task, "A")
    print(future.result())  # 阻塞直到任务完成

4. ProcessPoolExecutor进程池详解

from concurrent.futures import ProcessPoolExecutor

def cpu_intensive(n):
    return sum(i * i for i in range(n))

# 进程池适用于CPU密集型任务
with ProcessPoolExecutor() as executor:
    results = executor.map(cpu_intensive, [1000000, 2000000])
    print(list(results))

5. Future对象的状态管理

• 状态检测：
  • future.done()：判断任务是否完成
  • future.running()：判断任务是否运行中
• 结果获取：
  • future.result(timeout=None)：阻塞获取结果，可设置超时
  • future.exception()：获取执行过程中的异常

6. 回调机制与结果处理

def callback(future):
    if future.exception():
        print(f"Task failed: {future.exception()}")
    else:
        print(f"Task result: {future.result()}")

with ThreadPoolExecutor() as executor:
    future = executor.submit(task, "B")
    future.add_done_callback(callback)  # 异步结果处理

7. 批量任务管理技巧

# 使用as_completed实现非顺序结果处理
from concurrent.futures import as_completed

tasks = ["Task1", "Task2", "Task3"]
with ThreadPoolExecutor() as executor:
    futures = {executor.submit(task, t): t for t in tasks}
    
    for future in as_completed(futures):
        original_task = futures[future]
        result = future.result()
        print(f"{original_task} completed with: {result}")

8. 高级特性与参数配置

• 最大工作线程数：max_workers参数需根据任务类型调整
• 上下文配置：可通过initializer和initargs参数初始化工作环境
• 资源清理：使用with语句确保池的正确关闭，避免资源泄漏

9. 实战场景对比选择

• I/O密集型：推荐ThreadPoolExecutor（线程创建开销小）
• CPU密集型：推荐ProcessPoolExecutor（规避GIL限制）
• 注意事项：进程间通信成本较高，需合理设计数据传递方式

10. 错误处理与调试要点

• 使用future.exception()捕获工作线程/进程中的异常
• 注意序列化问题：进程池任务函数需支持pickle序列化
• 通过设置超时参数避免永久阻塞：future.result(timeout=10)