Trafilatura 可從 HTML 擷取正文,適合在建立 AI 輸入或搜尋資料前,先移除不需要的頁面區塊。本次 2.3.1 在兩段合成文章中保留兩筆出貨資訊,排除導覽與頁尾;空 HTML 回傳 None。這次沒有下載真實網站,也沒有執行瀏覽器 JavaScript。
需要更完整的網頁擷取流程時,可比較 Crawl4AI 的擷取設定;若還需要點擊或檢查頁面狀態,再看 Playwright MCP 的操作方式。
用有雜訊的 HTML 當輸入
建立有 title、nav、main/article 與 footer 的 HTML。文章包含 NOTE-31/08:30 與 NOTE-32/16:45 兩段完整句子,導覽和頁尾分別放 NOISE_NAVIGATION、NOISE_FOOTER。保留足夠的文章段落,讓測試能分辨正文與周邊文字,而不是只餵一個單字。
直接處理 HTML,先不加下載
在 Python 3.12 安裝固定版本,將 HTML 存成 fixture.html。下方 extract 直接吃字串,output_format=markdown,include_tables=True。這個參數雖然開啟表格選項,但樣本沒有表格,不能據此說已測表格保留。
以下為 POSIX shell 指令;本次在 Linux 容器測試,未測 Windows shell。
python -m pip install "trafilatura==2.3.1"
python - <<'PY'
from pathlib import Path
from trafilatura import extract
text = extract(Path("fixture.html").read_text(), output_format="markdown", include_tables=True)
if text is None or not text.strip():
raise ValueError("No main text extracted")
print(text)
PY
兩筆資料與兩個排除對照
實際輸出保留兩個 NOTE 編號與各自時間,不含兩個 NOISE 對照字串。空的 html/body 輸入回傳 None;呼叫端需先處理 None,再做字串長度或寫檔。不要只看 Markdown 存在,就推論整頁每一筆資訊都保留下來。
與瀏覽器型擷取的分工
下載器、命令列爬取、動態 JavaScript 頁面與表格依官方文件 v2.3.1 整理,未本地實測。這個測試處理的是已取得的 HTML;需要瀏覽器渲染與 selector 對照時,可回到既有 Crawl4AI 母頁。真實網站的版型、授權與可用性仍需逐站確認,不能把合成樣本當成通用成功率。
官方來源與測試範圍
本次為 Codex 在無發布憑證、非 root、斷網容器執行的合成資料測試,不代表站長親測。套件版本為 2.3.1;文件快照為 8f054a17a68d。