python讀取文件內容常用open()函數配合read()、readline()或readlines()方法，但處理超大文件時需優化內存使用。1. 使用open()函數可直接讀取文件，如with open(‘your_file.txt’, ‘r’) as f: content = f.read()；2. 逐行讀取適用于大文件，通過for循環逐行處理，減少內存占用，如with open(‘large_file.txt’, ‘r’) as f: for line in f: print(line.strip())；3. 迭代器方式利用iter(f.readline, ”)創建迭代對象，實現逐行讀取，更簡潔高效；4. mmap模塊將文件映射到內存，適合隨機訪問和高效處理超大文件，如用mmap.mmap(f.fileno(), 0)進行二進制操作并搜索字符串；5. 其他技巧包括設置緩沖區大小、多線程/多進程處理及使用專用庫如csv等，具體方法應根據文件大小與任務需求選擇。
讀取文件內容，在python里簡直是家常便飯。最直接的方法就是用open()函數打開文件，然后用read()、readline()或者readlines()來讀取。但如果是超大文件，一次性讀入內存可能會讓你的電腦直接卡死。所以，就需要一些更聰明的辦法來優化內存使用。
解決方案
最常用的方法就是逐行讀取，或者使用迭代器，再或者用mmap模塊。下面詳細說說這些方法。
立即學習“Python免費學習筆記（深入）”；
如何使用 open() 函數讀取文件內容？
open()函數是Python內置的，使用起來非常簡單。
with open('your_file.txt', 'r') as f: content = f.read() print(content)
這段代碼會打開名為your_file.txt的文件，并以只讀模式(‘r’)讀取全部內容。with語句確保文件在使用完畢后自動關閉，避免資源泄露。你也可以用f.readline()一行一行地讀，或者用f.readlines()把所有行讀到一個列表里。
但是，如果文件特別大，比如幾個G，一次性讀到內存里肯定不行。這時候就要換個思路。
如何逐行讀取大文件，避免內存溢出？
逐行讀取是處理大文件的常用技巧。它每次只讀取文件的一行，處理完之后再讀取下一行，這樣可以顯著減少內存占用。
with open('large_file.txt', 'r') as f: for line in f: # 處理每一行的數據 print(line.strip()) # 去掉行尾的換行符
這段代碼會逐行讀取large_file.txt，并在控制臺打印每一行。line.strip()是為了去除行尾的換行符，讓輸出更干凈。
如何使用迭代器讀取文件內容？
open()函數返回的文件對象本身就是一個迭代器。這意味著你可以直接在for循環中使用它，而不需要顯式地調用readline()。
with open('large_file.txt', 'r') as f: for line in iter(f.readline, ''): # 處理每一行的數據 print(line.strip())
這里的iter(f.readline, ”)創建了一個迭代器，它會不斷調用f.readline()，直到返回空字符串”為止。這種方法和上面的逐行讀取效果一樣，但更簡潔。
如何使用 mmap 模塊處理超大文件？
mmap模塊允許你將文件的一部分映射到內存中，就像操作內存一樣操作文件。這是一種非常高效的方法，尤其適合隨機訪問文件內容。
import mmap with open('very_large_file.txt', 'r+b') as f: mm = mmap.mmap(f.fileno(), 0, Access=mmap.ACCESS_READ) # 搜索字符串 if mm.find(b'your_string') != -1: print("Found!") mm.close()
這段代碼首先以二進制讀寫模式(‘r+b’)打開文件。然后，mmap.mmap()將整個文件映射到內存中。mm.find(b’your_string’)在映射的內存中搜索字符串’your_string’。注意，這里需要使用字節串(b’your_string’)，因為mmap操作的是二進制數據。最后，mm.close()關閉映射。
mmap的優點是速度快，內存效率高。缺點是使用起來稍微復雜一些，需要注意文件打開模式和數據類型。另外，mmap對文件的修改是直接寫入磁盤的，需要謹慎操作。
還有哪些其他優化技巧？
除了上面提到的方法，還有一些其他的優化技巧可以提高文件讀取的效率。
- 使用緩沖區： open()函數可以指定緩沖區大小。適當增加緩沖區大小可以減少磁盤I/O次數，提高讀取速度。
- 使用多線程/多進程： 如果你的任務可以并行處理，可以使用多線程或多進程來加速文件讀取。
- 使用更高效的庫： 對于特定類型的文件，比如csv文件，可以使用csv庫來更高效地讀取數據。
選擇哪種方法取決于你的具體需求和文件大小。如果只是簡單地讀取小文件，read()或readlines()就足夠了。如果需要處理超大文件，逐行讀取或mmap是更好的選擇。
