第三方工具更新 2026.11.15

LiteLLM 教學:用 mock_response 檢查回應格式

LiteLLM 提供一致的模型呼叫介面。

LiteLLM 提供一致的模型呼叫介面。本例先用內建 mock_response 固定回傳 08:30,檢查呼叫端能否讀到 choices 中的文字與 chat.completion 格式。

這次隔離測試驗證什麼

測試時 model 名稱只是指定介面的設定,並未真的呼叫該模型。先把回應讀取邏輯寫成測試,之後接上供應商再驗證認證、錯誤與重試。不能從這次成功推論 proxy 的路由或備援已正常。

以下是實際保存的合成資料輸出,不是模型效能評比。

{
  "model": "gpt-4o-mini",
  "content": "08:30",
  "object": "chat.completion"
}

重現這個小任務

紀錄使用 Linux 與 Python 3.12。安裝需要下載公開套件,核心執行階段無外網;未測試 Windows shell。請在可拋棄的環境執行範例。

python -m pip install litellm==1.109.1
import sys,json,traceback,importlib.metadata as meta,pathlib,asyncio,subprocess,os
SLUG='litellm'
def emit(package,checks,observations,**kw):
    print(json.dumps({'checks':checks,'observations':observations},ensure_ascii=False,default=str,indent=2))
def litellm():
    import litellm
    r=litellm.completion(model='openai/gpt-4o-mini',messages=[{'role':'user','content':'When does NOTE-31 leave?'}],mock_response='08:30')
    emit('litellm',dict(content=r.choices[0].message.content=='08:30',shape=r.object=='chat.completion'),dict(model=r.model,content=r.choices[0].message.content,object=r.object),scope='Built-in mock_response normalizes a synthetic completion; no live provider, proxy routing, failover, latency or prices validated.')
litellm()

限制與未測部分

供應商、proxy、備援、價格、速率限制與延遲未本地實測。mock 不會產生真模型費用,也不能測出正式費用。

其他功能依下列固定版本官方文件整理,未本地實測。開源套件不代表代管執行或模型呼叫免費。

來源與測試紀錄

本次由 Codex 在非 root、封鎖外網、無發布憑證的容器執行合成資料測試,不代表站長親測。

實測套件:1.109.1;文件 commit:8c97c243feb8。套件與 README 分別固定,不假定是同一版。測試日期:2026-11-15。

訂閱 AI 工具精選與使用建議

有值得推薦的新工具、實測發現或重要更新時,寄到你的信箱。

訂閱後先寄給你一份每月更新的 AI 工具與 Skill 清單。有值得推薦的工具、實測發現或重要更新時才寄信,隨時可以退訂。隱私權說明

快完成了,請到信箱收確認信點信裡的按鈕確認訂閱,就會收到工具清單的下載連結。沒看到的話,看一下垃圾郵件或「促銷內容」分頁。

也可以在這些平台追蹤: