python requests庫爬蟲遇難題？動態加載內容導致數據缺失！
許多開發者在使用Python的requests庫爬取網頁數據時，常常會遇到獲取到的網頁內容與瀏覽器顯示內容不符的情況。本文將通過一個案例分析問題根源，并提供解決方案。
案例： 開發者嘗試使用requests庫獲取某物流公司特定單號的物流信息，但結果與瀏覽器查看的網頁代碼差異巨大。代碼如下：
import requests url = 'http://qqb3c.cn/webapp/orderdetail.html?ordernumber=d89f3a35931c386956c1a402a8e09941@11339833&openid=' headers = { 'user-agent': 'mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/114.0.0.0 safari/537.36 edg/114.0.1823.58' } response = requests.get(url, headers=headers) html = response.content.decode('utf-8')
問題分析： requests庫擅長發送HTTP請求并接收響應，但它不會執行JavaScript代碼。許多現代網站依賴JavaScript動態加載內容，這意味著網頁的最終內容是在瀏覽器中通過JavaScript渲染生成的，而requests庫無法處理此過程。因此，直接使用requests獲取的網頁源代碼僅包含初始HTML，缺少動態加載的物流信息。
解決方案： 模擬瀏覽器行為，使用Selenium等工具執行JavaScript代碼。以下代碼使用Selenium和Chrome瀏覽器驅動：
import time from selenium import webdriver # 初始化Chrome瀏覽器 driver = webdriver.Chrome() # 打開目標網頁 url = "http://qqb3c.cn/webapp/orderDetail.html?orderNumber=D89F3A35931C386956C1A402A8E09941@11339833&openid=" driver.get(url) # 等待頁面加載 (等待時間需根據實際情況調整) time.sleep(5) # 獲取物流信息 (根據實際網頁結構調整元素定位方式) try: logistics_info = driver.find_element("id", "logisticsInfo").text print(logistics_info) except Exception as e: print(f"獲取物流信息失敗: {e}") # 關閉瀏覽器 driver.quit()
這段代碼啟動Chrome瀏覽器，打開目標URL，等待頁面加載（time.sleep(5)，建議根據頁面加載速度調整），然后使用find_element方法（已改進為更通用的方法）定位包含物流信息的元素，并打印其文本內容。 請務必根據目標網站的實際HTML結構修改元素定位方式。 錯誤處理機制也已添加，以便更穩健地處理潛在的異常。 使用Selenium模擬瀏覽器環境，即可獲取動態加載的完整網頁數據。
通過Selenium模擬瀏覽器，有效解決了requests庫無法處理動態加載內容的問題，獲取更準確、完整的網頁數據。
? 版權聲明
文章版權歸作者所有，未經允許請勿轉載。
THE END
