python爬蟲：requests庫與動態網頁內容的挑戰
在使用Python的requests庫抓取網頁數據時，經常會遇到獲取到的內容與瀏覽器顯示結果不一致的情況，尤其是在處理動態加載的網頁時。本文將分析此類問題，并提供基于selenium庫的解決方案。
問題：靜態抓取與動態內容的沖突
許多網站使用JavaScript動態加載內容，requests庫僅能獲取網頁的初始html源碼，無法執行JavaScript代碼，導致動態加載的內容缺失。
例如，嘗試使用requests獲取某個物流信息網頁（地址略去，為保護隱私）：
import requests url = '...' # 物流信息網頁地址 headers = { 'User-Agent': 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58' } response = requests.get(url, headers=headers) html_content = response.content.decode('utf-8')
由于該網頁使用JavaScript動態加載物流信息，requests獲取的html_content將缺少關鍵數據。
解決方案：Selenium模擬瀏覽器行為
為了解決這個問題，我們可以使用selenium庫模擬瀏覽器行為，執行JavaScript代碼并獲取完整的網頁內容。
import time from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 設置瀏覽器驅動路徑 (請根據實際情況修改) driver_path = '/path/to/chromedriver' driver = webdriver.Chrome(executable_path=driver_path) url = '...' # 物流信息網頁地址 driver.get(url) # 使用顯式等待，確保頁面加載完成 (避免元素定位失敗) try: element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, 'logisticsInfo')) # 根據實際網頁元素ID修改 ) logistics_info = element.text print(logistics_info) except: print("未能找到物流信息元素") driver.quit()
此代碼使用selenium打開網頁，并使用WebDriverWait等待特定元素出現，確保頁面完全加載后再提取物流信息（假設物流信息位于id為’logisticsInfo’的元素中，請根據實際情況修改）。 記住安裝必要的驅動程序，并替換/path/to/chromedriver 為你chromedriver的實際路徑。
通過selenium，我們可以克服requests在處理動態網頁時的局限性，有效獲取動態加載的網頁內容。 請注意，By.ID 和 ‘logisticsInfo’ 需要根據目標網頁的實際HTML結構進行調整。
? 版權聲明
文章版權歸作者所有，未經允許請勿轉載。
THE END
