python進程池處理并發TCP請求導致客戶端卡死的根本原因及解決方案
本文分析了使用python進程池處理并發tcp請求時，客戶端可能出現卡死現象的原因，并提供有效的解決方案。
問題：服務端使用multiprocessing.Pool創建進程池處理TCP請求，客戶端使用ThreadPoolExecutor并發發送請求。在macos系統上，當客戶端線程池max_workers大于1時，客戶端會卡死；但在ubuntu系統上運行正常。服務端代碼使用pool.apply_async非阻塞地分配任務，看似沒有阻塞問題。
根本原因：服務端代碼將socket對象直接傳遞給子進程。由于socket對象無法直接在進程間共享，子進程嘗試復制socket對象時失敗，導致子進程無法正常工作，阻塞客戶端請求。
解決方案：避免直接傳遞socket對象，而是傳遞其文件描述符（file descriptor）。
改進后的服務端代碼：
立即學習“Python免費學習筆記（深入）”；
import os import socket import sys import time import threading from loguru import logger from concurrent.futures import ThreadPoolExecutor from concurrent.futures._base import Future import multiprocessing default_encoding: str = 'utf-8' def init_serversocket() -> socket.socket: # ... (代碼與原問題描述相同) ... def send_response(clientsocket: socket.socket, addr: tuple, response_body: bytes) -> int: # ... (代碼與原問題描述相同) ... def start_request(clientsocket_fd: int, addr: tuple) -> int: clientsocket = socket.fromfd(clientsocket_fd, socket.AF_INET, socket.SOCK_STREAM) os.close(clientsocket_fd) # 關閉原文件描述符，防止資源泄露 try: # ... (代碼與原問題描述相同) ... except Exception as error: logger.exception(error) finally: clientsocket.close() def worker_process(clientsocket_fd, addr): start_request(clientsocket_fd, addr) if __name__ == "__main__": serversocket = init_serversocket() pool = multiprocessing.Pool(processes=16) while True: try: clientsocket, addr = serversocket.accept() clientsocket_fd = clientsocket.fileno() pool.apply_async(worker_process, (clientsocket_fd, addr)) except Exception as error: logger.exception(error) pool.close() pool.join()
改進說明：
- start_request函數現在接收clientsocket的文件描述符clientsocket_fd。
- socket.fromfd函數根據文件描述符重建socket對象，確保子進程能正確操作套接字。
- 在finally塊中添加clientsocket.close()，確保套接字正確關閉。
- worker_process函數處理clientsocket_fd，并在子進程中關閉文件描述符，避免資源泄露。
通過傳遞文件描述符而不是socket對象本身，解決了進程間通信的難題，從而避免了客戶端卡死的問題。 此方法確保了在多進程環境下對TCP連接的正確處理。
? 版權聲明
文章版權歸作者所有，未經允許請勿轉載。
THE END
