第三方工具更新 2026.11.14

Trafilatura 教學:從 HTML 擷取正文與空結果檢查

用 Trafilatura 2.3.1 處理合成 HTML,核對兩筆出貨資訊、導覽與頁尾排除,以及空 HTML 的 None 回傳;未測下載與動態頁。

Trafilatura 可從 HTML 擷取正文,適合在建立 AI 輸入或搜尋資料前,先移除不需要的頁面區塊。本次 2.3.1 在兩段合成文章中保留兩筆出貨資訊,排除導覽與頁尾;空 HTML 回傳 None。這次沒有下載真實網站,也沒有執行瀏覽器 JavaScript。

需要更完整的網頁擷取流程時,可比較 Crawl4AI 的擷取設定;若還需要點擊或檢查頁面狀態,再看 Playwright MCP 的操作方式。

用有雜訊的 HTML 當輸入

建立有 title、nav、main/article 與 footer 的 HTML。文章包含 NOTE-31/08:30 與 NOTE-32/16:45 兩段完整句子,導覽和頁尾分別放 NOISE_NAVIGATION、NOISE_FOOTER。保留足夠的文章段落,讓測試能分辨正文與周邊文字,而不是只餵一個單字。

直接處理 HTML,先不加下載

在 Python 3.12 安裝固定版本,將 HTML 存成 fixture.html。下方 extract 直接吃字串,output_format=markdown,include_tables=True。這個參數雖然開啟表格選項,但樣本沒有表格,不能據此說已測表格保留。

以下為 POSIX shell 指令;本次在 Linux 容器測試,未測 Windows shell。

python -m pip install "trafilatura==2.3.1"
python - <<'PY'
from pathlib import Path
from trafilatura import extract
text = extract(Path("fixture.html").read_text(), output_format="markdown", include_tables=True)
if text is None or not text.strip():
    raise ValueError("No main text extracted")
print(text)
PY

兩筆資料與兩個排除對照

實際輸出保留兩個 NOTE 編號與各自時間,不含兩個 NOISE 對照字串。空的 html/body 輸入回傳 None;呼叫端需先處理 None,再做字串長度或寫檔。不要只看 Markdown 存在,就推論整頁每一筆資訊都保留下來。

與瀏覽器型擷取的分工

下載器、命令列爬取、動態 JavaScript 頁面與表格依官方文件 v2.3.1 整理,未本地實測。這個測試處理的是已取得的 HTML;需要瀏覽器渲染與 selector 對照時,可回到既有 Crawl4AI 母頁。真實網站的版型、授權與可用性仍需逐站確認,不能把合成樣本當成通用成功率。

官方來源與測試範圍

本次為 Codex 在無發布憑證、非 root、斷網容器執行的合成資料測試,不代表站長親測。套件版本為 2.3.1;文件快照為 8f054a17a68d。

訂閱 AI 工具精選與使用建議

有值得推薦的新工具、實測發現或重要更新時,寄到你的信箱。

訂閱後先寄給你一份每月更新的 AI 工具與 Skill 清單。有值得推薦的工具、實測發現或重要更新時才寄信,隨時可以退訂。隱私權說明

快完成了,請到信箱收確認信點信裡的按鈕確認訂閱,就會收到工具清單的下載連結。沒看到的話,看一下垃圾郵件或「促銷內容」分頁。

也可以在這些平台追蹤: