Python中的内存映射（Memory Mapping）与mmap模块详解

1. 内存映射的基本概念

内存映射是一种将文件或设备数据直接映射到进程虚拟内存空间的技术。通过内存映射，文件内容可以被当作内存数组来访问，从而避免频繁的读写系统调用，提高I/O效率。其核心特点包括：

• 直接操作内存：对映射内存的修改会自动同步到文件（可选）。
• 高效共享：多个进程可映射同一文件，实现高效数据共享。
• 懒加载：数据仅在需要时从磁盘加载到内存，节省物理内存。

2. 内存映射的应用场景

• 大文件处理：无需一次性加载全部内容，减少内存压力。
• 进程间通信（IPC）：通过映射同一文件实现数据共享。
• 日志文件实时分析：动态读取正在被其他进程写入的文件。

3. Python中的mmap模块

Python标准库的mmap模块提供了内存映射功能，主要通过mmap.mmap()函数创建映射对象。

3.1 创建内存映射的基本步骤

1. 打开文件：使用open()函数以适当模式（如r+b）打开文件。
2. 创建映射对象：调用mmap.mmap()，传入文件描述符、映射长度和访问模式。
3. 操作映射内存：像操作字节数组一样读写数据。
4. 关闭映射和文件：调用close()释放资源。

示例代码：

import mmap  

# 1. 打开文件  
with open('example.txt', 'r+b') as f:  
    # 2. 创建内存映射，0表示映射整个文件  
    with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_WRITE) as mm:  
        # 3. 读取数据（类似字节数组）  
        print(mm[:10])  # 输出前10字节  
        # 修改数据  
        mm[0:5] = b'HELLO'  # 替换前5字节  
        # 数据会自动同步到文件  

4. mmap关键参数详解

• length：映射长度。设为0表示映射整个文件。
• access：访问权限：
  • ACCESS_READ：只读。
  • ACCESS_WRITE：可写（修改同步到文件）。
  • ACCESS_COPY：写时复制（修改不同步到文件）。

5. 内存映射的高级特性

5.1 搜索与替换

映射对象支持类似字符串的搜索操作：

with open('data.bin', 'r+b') as f:  
    with mmap.mmap(f.fileno(), 0) as mm:  
        pos = mm.find(b'old_data')  # 查找字节序列  
        if pos != -1:  
            mm[pos:pos+8] = b'new_data'  # 替换内容  

5.2 进程间共享

多个进程映射同一文件时，修改对彼此立即可见（需同步机制控制竞争条件）：

# 进程A  
import mmap  
with open('shared.bin', 'r+b') as f:  
    mm = mmap.mmap(f.fileno(), 0)  
    mm[0:4] = b'1234'  # 进程B会立即看到修改  

6. 注意事项与局限性

• 文件大小限制：映射长度不能超过文件当前大小（可通过truncate()扩展文件）。
• 平台差异：Windows和Unix系统对access参数的行为可能不同。
• 同步问题：多进程写入时需用锁或其他同步机制避免数据损坏。

7. 性能优化场景

• 随机访问大文件：映射后直接按偏移量读写，比传统seek()/read()更高效。
• 只读模式：使用ACCESS_READ避免不必要的写回操作。

通过内存映射，Python程序可以以接近原生内存操作的速度处理文件I/O，尤其适合需要高频随机访问或进程间共享数据的场景。