mmap是内存映射文件的方法,通过将文件映射到虚拟内存,使程序能像操作内存一样读写文件。使用时需以二进制模式打开文件,调用mmap.mmap()创建映射,支持随机访问和修改,适用于大文件处理如日志分析、数据库索引等,可提升效率并节省内存。注意映射大小不超过文件长度,操作后及时关闭对象以防资源泄露。
Python 的
mmap()
函数是一种内存映射文件的方法,它允许你将一个文件直接映射到进程的
虚拟内存
空间中。通过这种方式,你可以像操作内存一样读写文件内容,而不需要频繁调用 read() 或 write() 方法。
什么是 mmap?
mmap
是 “memory-mapped file” 的缩写。它把文件的一部分或全部加载到内存中,形成一个可读写的
字节
区域。在 Python 中,这个功能由
mmap
模块提供。
使用 mmap 后,可以像操作字符串或字节数组一样访问文件内容,极大提升大文件处理效率。
怎么使用 mmap?
基本用法如下:
立即学习
“
Python免费学习笔记(深入)
”;
Trae win
Trae Windows 官方版本现已全面支持 Win10 和 Win11 系统(64位)。国内开发者可直接访问 Trae 中文官网(trae.cn 或 trae.com.cn),一键下载官方正版 .exe 安装包,享受国内直连的高速稳定体验。安装过程极其简便,双击即可运行,并支持一键无缝导入 VS Code 或 Cursor 的原有主题、快捷键及插件配置。登录支持手机号、微信或稀土掘金账号。内置免费的豆包与 DeepSeek 等顶级大模型,让你开箱即用,轻松开启高效的 AI 智能编程之旅。
下载
先用 open() 打开一个文件,获取文件描述符
调用 mmap.mmap() 将文件映射到内存
通过返回的对象进行读、写、查找等操作
操作完成后记得关闭 mmap 和文件
示例代码:
mmap 的优势和适用场景
适合处理大型文件,比如日志分析、数据库索引、二进制数据处理等。
避免一次性加载整个文件到内存,节省资源
支持随机访问,速度快
多个进程可共享同一映射(在适当模式下)
支持修改文件内容并自动同步到磁盘
注意事项
mmap 并非万能,使用时要注意:
文件必须以二进制模式打开(如 'r+b' 或 'w+b')
映射大小不能超过文件当前大小(除非指定有效长度)
跨平台行为略有差异,尤其是 Windows 和 Unix 系统
操作结束后要正确关闭 mmap 对象,防止资源泄露
基本上就这些。mmap 是一个强大但需要小心使用的工具,特别适合高效处理大文件。
import mmap
打开文件并创建内存映射
with open('example.txt', 'r+b') as f:
with mmap.mmap(f.fileno(), 0) as mm:
读取前10个字节
print(mm[:10])
# 查找内容
pos = mm.find(b'hello')
if pos != -1:
print(f"找到 'hello' 在位置 {pos}")
# 修改部分内容(注意:必须是字节)
mm[0:5] = b'Hello'