Crawl4AI 能把網頁擷取成 Markdown。若只要正文,可以用 CSS selector 縮小範圍。團隊在 0.9.5 用同一份含導覽列和頁尾的出貨頁測試。當 selector 找不到元素,回傳仍是 HTTP 200 與 success=True,但 Markdown 去掉空白後是空的。
若頁面需要操作後才能確認狀態,可另看 Playwright MCP 的瀏覽器流程;靜態文章正文可比較 Trafilatura 的擷取結果。
同一頁跑三次
建立測試頁。讓五筆資料放在 <main> 內,導覽列與含 EXCLUDED-FOOTER 的頁尾放在外面。選一筆固定答案,例如台北的截止時間是 08:30。測試用 python -m pip install crawl4ai==0.9.5 安裝套件,再用 BrowserConfig(browser_type="chromium", cdp_url="http://127.0.0.1:9222", create_isolated_context=False, headless=True) 接到同一個容器內的測試 Chromium,瀏覽器只監聽 loopback。測試沒有使用雲端服務或金鑰。
- 用
AsyncWebCrawler跑crawler.arun(url=..., config=CrawlerRunConfig(cache_mode=CacheMode.BYPASS)),讀取result.markdown.raw_markdown。整頁包含 Help 與五筆資料,也保留頁尾。 - 加
css_selector="main"。這次五筆仍在,第一筆保留連到明細的網址,Help 與頁尾文字移除。 - 用不存在的
css_selector="article.missing"。三個案例都回傳 HTTP 200 和success=True,這一個只輸出一個換行。
讓驗收條件跟著工作走
先測 raw_markdown.strip() 是否為空,再核對至少一個關鍵欄位和實際資料列數。有清除導覽或頁尾的要求時,檢查已知雜訊標記是否消失。頁面改版後,這些條件比只記 HTTP 狀態更容易定位問題。
實測範圍與來源
測試以 Linux 容器執行,使用 Chromium 156 與容器內的 Chrome DevTools Protocol(CDP)連線。第一個瀏覽器啟動組合無法建立頁面,改用同容器 Chromium 後完成三種擷取,三組輸出已寫完,結束時仍出現被略過的清理例外 RuntimeError: Event loop is closed。依官方 0.9.5 文件整理,其他平台的瀏覽器安裝及雲端模式未本地實測。工具採 Apache-2.0。 Crawl4AI 官方 GitHub · v0.9.5。