使用php高效采集新聞信息：巧妙解決相對路徑和內容提取難題
本文將詳細講解如何利用PHP、cURL和正則表達式，從目標網站抓取新聞列表及新聞詳情。我們將重點攻克兩個挑戰：一是將新聞列表頁中相對路徑的鏈接轉換成完整的URL；二是精準提取新聞詳情頁中的新聞正文。
目標是從網站列表頁（頁面1）獲取新聞標題和鏈接（這些鏈接為相對路徑，例如/arthtml/40958.html），并訪問每個新聞詳情頁（頁面2）提取新聞內容，最終在頁面上顯示新聞標題、完整URL和新聞內容。
挑戰一：相對路徑轉換為完整URL
立即學習“PHP免費學習筆記（深入）”；
為了將相對路徑轉換為完整URL，我們可以使用正則表達式提取相對路徑，再與網站根域名拼接。在頁面1的源代碼中，新聞鏈接位于標簽的href屬性中。 我們可以使用類似href=”https://www.php.cn/link/01bebc8e971d09cb90cf5756b340f24c”的正則表達式進行匹配。
挑戰二：精準提取新聞詳情頁內容
從新聞詳情頁提取新聞內容是第二個挑戰。假設頁面2的新聞內容位于
“的正則表達式提取內容。
雖然問題答案中建議使用dom解析框架（例如DOMDocument），這對于處理復雜HTML結構更為穩妥，能有效避免正則表達式在處理復雜HTML時可能出現的錯誤。但如果HTML結構相對簡單，且性能要求不高，使用正則表達式也是一種可行的方案。
cURL庫負責獲取頁面內容，其代碼框架已在問題描述中提供，只需將CURLOPT_URL參數修改為獲取到的完整URL即可。
重要提示：
在進行網絡爬蟲時，務必遵守網站的robots.txt協議，避免對目標網站造成過大壓力。 同時，建議設置合適的User-Agent和Referer頭信息，模擬正常的瀏覽器訪問行為。
