第三方工具更新 2026.11.14

Crawl4AI 教學:擷取網頁正文後,怎麼驗收 Markdown?

用 Crawl4AI 0.9.5 在本機對照整頁和正文與空選取結果,核對五筆資料與頁尾,攔截空白 Markdown。

Crawl4AI 能把網頁擷取成 Markdown。若只要正文,可以用 CSS selector 縮小範圍。團隊在 0.9.5 用同一份含導覽列和頁尾的出貨頁測試。當 selector 找不到元素,回傳仍是 HTTP 200 與 success=True,但 Markdown 去掉空白後是空的。

若頁面需要操作後才能確認狀態,可另看 Playwright MCP 的瀏覽器流程;靜態文章正文可比較 Trafilatura 的擷取結果。

同一頁跑三次

建立測試頁。讓五筆資料放在 <main> 內,導覽列與含 EXCLUDED-FOOTER 的頁尾放在外面。選一筆固定答案,例如台北的截止時間是 08:30。測試用 python -m pip install crawl4ai==0.9.5 安裝套件,再用 BrowserConfig(browser_type="chromium", cdp_url="http://127.0.0.1:9222", create_isolated_context=False, headless=True) 接到同一個容器內的測試 Chromium,瀏覽器只監聽 loopback。測試沒有使用雲端服務或金鑰。

  1. 用 AsyncWebCrawler 跑 crawler.arun(url=..., config=CrawlerRunConfig(cache_mode=CacheMode.BYPASS)),讀取 result.markdown.raw_markdown。整頁包含 Help 與五筆資料,也保留頁尾。
  2. 加 css_selector="main"。這次五筆仍在,第一筆保留連到明細的網址,Help 與頁尾文字移除。
  3. 用不存在的 css_selector="article.missing"。三個案例都回傳 HTTP 200 和 success=True,這一個只輸出一個換行。

讓驗收條件跟著工作走

先測 raw_markdown.strip() 是否為空,再核對至少一個關鍵欄位和實際資料列數。有清除導覽或頁尾的要求時,檢查已知雜訊標記是否消失。頁面改版後,這些條件比只記 HTTP 狀態更容易定位問題。

實測範圍與來源

測試以 Linux 容器執行,使用 Chromium 156 與容器內的 Chrome DevTools Protocol(CDP)連線。第一個瀏覽器啟動組合無法建立頁面,改用同容器 Chromium 後完成三種擷取,三組輸出已寫完,結束時仍出現被略過的清理例外 RuntimeError: Event loop is closed。依官方 0.9.5 文件整理,其他平台的瀏覽器安裝及雲端模式未本地實測。工具採 Apache-2.0。 Crawl4AI 官方 GitHub · v0.9.5。

訂閱 AI 工具精選與使用建議

有值得推薦的新工具、實測發現或重要更新時,寄到你的信箱。

訂閱後先寄給你一份每月更新的 AI 工具與 Skill 清單。有值得推薦的工具、實測發現或重要更新時才寄信,隨時可以退訂。隱私權說明

快完成了,請到信箱收確認信點信裡的按鈕確認訂閱,就會收到工具清單的下載連結。沒看到的話,看一下垃圾郵件或「促銷內容」分頁。

也可以在這些平台追蹤: