Python中mmap模塊 內存映射文件mmap的高效文件訪問

在python中，如果你需要處理大文件或者追求高效的文件讀寫方式，mmap模塊是一個非常值得嘗試的工具。它通過內存映射的方式訪問文件內容，避免了頻繁的i/o操作，提升了性能。

什么是mmap？為什么用它？

mmap是“memory-mapped file”的縮寫，意思是把一個文件直接映射到進程的地址空間中。這樣你就可以像操作內存一樣來操作文件內容，而不需要反復調用read()或write()。

這種方式特別適合以下場景：

• 文件很大，常規讀取太慢
• 需要隨機訪問文件的不同部分
• 多個進程需要共享同一個文件的數據

相比傳統的文件操作，mmap減少了數據在內核和用戶空間之間的拷貝次數，效率更高。

如何使用mmap模塊？

在python中使用mmap模塊的基本流程如下：

立即學習“Python免費學習筆記（深入）”；

1. 打開一個文件，獲取文件描述符（通常用os.open()）
2. 創建一個mmap對象，將文件映射到內存
3. 像操作字符串一樣讀寫內存中的內容
4. 完成后關閉mmap對象和文件描述符

下面是一個簡單的例子：

import mmap import os  # 打開文件 fd = os.open("example.txt", os.O_RDWR)  # 創建內存映射 mm = mmap.mmap(fd, 0)  # 0表示整個文件都映射  # 讀取內容 print(mm.readline())  # 修改內容（假設前幾個字節是可寫的） mm[0:5] = b"Hello"  # 關閉 mm.close() os.close(fd)

需要注意幾點：

• 如果你只打算讀取文件，可以設置access=mmap.Access_READ
• 要修改文件內容，確保文件大小足夠，并且映射時指定正確的模式
• 使用完記得關閉mmap對象和文件描述符，否則會占用資源

mmap的常見用途和技巧

快速查找關鍵字

如果你需要在一個大文本文件中查找某個關鍵詞，mmap比逐行讀取快很多。你可以直接使用字符串方法進行搜索：

pos = mm.find(b"target_keyword") if pos != -1:     print(f"Found at position {pos}")

這種方法不會加載整個文件到內存，只是在需要時訪問對應內存區域。

高效修改文件內容

如果你想修改文件中間某段內容，傳統做法可能需要先讀整個文件、修改、再寫回去。但用mmap可以直接定位并修改：

mm.seek(100) mm.write(b"new content here")

注意：寫入的內容長度不能超過原位置預留的空間，否則會覆蓋后續內容。

多進程共享文件數據

如果多個進程需要訪問同一份數據，可以用mmap配合flags=mmap.MAP_SHAred實現共享內存。這樣不同進程看到的是同一塊內存區域，適合做進程間通信。

使用mmap的注意事項

雖然mmap高效，但也有一些限制和容易出錯的地方：

• 文件必須存在：創建新的文件并映射可能會失敗，最好先創建好并指定大小。
• 權限問題：映射時的訪問權限（只讀/讀寫）要和文件打開方式一致，否則會報錯。
• 異常處理：在操作過程中可能會出現越界訪問或非法寫入，建議加try…finally確保關閉資源。
• 平臺差異：windows和linux在某些參數上支持略有不同，跨平臺使用時要注意兼容性。

基本上就這些。掌握好mmap的使用，能讓你在處理大文件或需要高性能IO的場景下事半功倍。雖然不是每個項目都需要它，但在合適的地方用上，效果很明顯。