Python中的并发编程：线程池与进程池的原理与应用

1. 问题描述
在Python中，线程池（ThreadPoolExecutor）和进程池（ProcessPoolExecutor）是concurrent.futures模块提供的两种并发执行机制。它们通过复用线程或进程来减少资源开销，提高任务处理效率。但两者在适用场景、性能表现和底层原理上有显著差异。面试中常要求解释其工作原理、区别以及如何选择。

2. 核心概念：Executor模式

• Executor：抽象类，定义异步执行任务的接口（如submit、map）。
• Future对象：代表异步操作的未来结果，通过result()方法阻塞获取结果或add_done_callback()设置回调。
• 池化思想：预先创建一组线程/进程，避免频繁创建销毁的开销。

3. 线程池（ThreadPoolExecutor）
适用场景：I/O密集型任务（如网络请求、文件读写）。
原理：

1. 创建时指定最大线程数（如max_workers=5）。
2. 提交任务（submit）后，任务进入队列，由空闲线程执行。
3. 线程复用：任务完成后线程不销毁，继续执行新任务。
   示例代码：

from concurrent.futures import ThreadPoolExecutor
import time

def io_task(x):
    time.sleep(1)  # 模拟I/O操作
    return x * x

with ThreadPoolExecutor(max_workers=3) as executor:
    futures = [executor.submit(io_task, i) for i in range(5)]
    results = [f.result() for f in futures]  # 阻塞获取结果
print(results)  # [0, 1, 4, 9, 16]

关键点：

• 受GIL限制，线程池不适合CPU密集型任务（无法并行利用多核）。
• 线程共享内存，需注意线程安全（如竞争条件）。

4. 进程池（ProcessPoolExecutor）
适用场景：CPU密集型任务（如数学计算、图像处理）。
原理：

1. 创建时指定进程数，每个进程有独立的Python解释器和内存空间。
2. 任务通过进程间通信（如队列）分发到子进程。
3. 避免GIL限制，真正实现并行计算。
   示例代码：

from concurrent.futures import ProcessPoolExecutor

def cpu_task(x):
    return x ** x  # 模拟CPU密集型计算

if __name__ == "__main__":
    with ProcessPoolExecutor(max_workers=2) as executor:
        futures = [executor.submit(cpu_task, i) for i in range(5)]
        results = [f.result() for f in futures]
    print(results)  # [1, 1, 4, 27, 256]

关键点：

• 进程启动开销大，通信成本高（需序列化数据）。
• 需在if __name__ == "__main__"下使用，避免子进程递归创建。

5. 两者对比与选择依据

选择策略：

• I/O密集型：优先选线程池（避免进程通信开销）。
• CPU密集型：优先选进程池（利用多核并行）。
• 混合任务：可结合使用（如进程池内嵌套线程池）。

6. 高级用法与注意事项

• 回调函数：通过Future.add_done_callback()异步处理结果。
• 超时控制：result(timeout=5)避免无限等待。
• 资源管理：使用with语句确保池的关闭。
• 错误处理：捕获Future.exception()获取任务异常。

通过理解池化机制和任务特性，可以合理选择并发工具，优化程序性能。