匹配中文字符在python正則表達式中最可靠的方式是使用unicode編碼范圍。1. 常用漢字可通過[u4e00-u9fff]匹配;2. 若需包含擴展a區(qū)漢字,則使用[u3400-u4dbf];3. 對于擴展b區(qū)等生僻字,標準re模塊不支持,需使用第三方Regex庫,并采用[p{script=han}]寫法。此外,應(yīng)注意編碼格式為utf-8、避免誤匹配標點、優(yōu)化性能及結(jié)合其他規(guī)則使用。
匹配中文字符在python正則表達式中其實是一個挺常見的需求,比如做文本清洗、關(guān)鍵詞提取或者數(shù)據(jù)驗證時都可能會用到。直接說重點:使用 Unicode 編碼范圍來匹配中文字符是最可靠的方式。
一、中文字符的Unicode范圍
中文字符主要分布在幾個Unicode塊中,最常見的包括:
- u4e00-u9fff:常用漢字(包含簡體和繁體)
- u3400-u4dbf:擴展A區(qū)漢字
- U00020000-U0002a6df:擴展B區(qū)漢字(這部分需要啟用正則的“完整模式”或使用第三方庫如 regex)
所以,最基礎(chǔ)也是最常用的寫法是:
立即學習“Python免費學習筆記(深入)”;
import re pattern = r'[u4e00-u9fff]+' text = "你好,世界!Hello World" matches = re.findall(pattern, text) print(matches) # 輸出 ['你好', '世界']
如果你只需要處理常見中文,只用 u4e00-u9fff 就夠用了。
二、如何匹配所有中文字符(含生僻字)
如果你要處理古籍、專業(yè)文獻或者用戶可能輸入生僻字的情況,就需要考慮擴展區(qū)了。
標準的 re 模塊不支持 U00020000-U0002a6df 這類高位 Unicode 字符,這時候可以換用 Python 的第三方正則模塊 regex:
pip install regex
然后這樣寫:
import regex as re pattern = r'[p{Script=Han}]+' text = "你好abc龘龘" matches = re.findall(pattern, text) print(matches) # 輸出 ['你好', '龘龘']
這里 p{Script=Han} 表示匹配所有屬于“漢字書寫系統(tǒng)”的字符,包括各種擴展區(qū)的生僻字。
三、注意事項與常見問題
- 避免誤匹配標點符號:中文里經(jīng)常混雜全角標點,比如 “,。《》【】” 等等。如果你只想提取純漢字,這些不屬于 u4e00-u9fff 范圍,不會被匹配到。
- 注意編碼格式:確保你的源文件或輸入文本是 UTF-8 編碼,否則可能出現(xiàn)亂碼或匹配失敗。
- 性能優(yōu)化:如果處理的是大文本,盡量使用 finditer 替代 findall,減少內(nèi)存占用。
- 結(jié)合其他規(guī)則使用:例如想匹配“中文+數(shù)字”的組合,可以寫成:
pattern = r'[u4e00-u9fff]+d+'
基本上就這些。正則匹配中文不算復(fù)雜,但很容易忽略擴展字符和編碼細節(jié),特別是當你要處理更復(fù)雜的文本場景時。