LiteLLM 提供一致的模型呼叫介面。本例先用內建 mock_response 固定回傳 08:30,檢查呼叫端能否讀到 choices 中的文字與 chat.completion 格式。
這次隔離測試驗證什麼
測試時 model 名稱只是指定介面的設定,並未真的呼叫該模型。先把回應讀取邏輯寫成測試,之後接上供應商再驗證認證、錯誤與重試。不能從這次成功推論 proxy 的路由或備援已正常。
以下是實際保存的合成資料輸出,不是模型效能評比。
{
"model": "gpt-4o-mini",
"content": "08:30",
"object": "chat.completion"
}
重現這個小任務
紀錄使用 Linux 與 Python 3.12。安裝需要下載公開套件,核心執行階段無外網;未測試 Windows shell。請在可拋棄的環境執行範例。
python -m pip install litellm==1.109.1
import sys,json,traceback,importlib.metadata as meta,pathlib,asyncio,subprocess,os
SLUG='litellm'
def emit(package,checks,observations,**kw):
print(json.dumps({'checks':checks,'observations':observations},ensure_ascii=False,default=str,indent=2))
def litellm():
import litellm
r=litellm.completion(model='openai/gpt-4o-mini',messages=[{'role':'user','content':'When does NOTE-31 leave?'}],mock_response='08:30')
emit('litellm',dict(content=r.choices[0].message.content=='08:30',shape=r.object=='chat.completion'),dict(model=r.model,content=r.choices[0].message.content,object=r.object),scope='Built-in mock_response normalizes a synthetic completion; no live provider, proxy routing, failover, latency or prices validated.')
litellm()
限制與未測部分
供應商、proxy、備援、價格、速率限制與延遲未本地實測。mock 不會產生真模型費用,也不能測出正式費用。
其他功能依下列固定版本官方文件整理,未本地實測。開源套件不代表代管執行或模型呼叫免費。
來源與測試紀錄
本次由 Codex 在非 root、封鎖外網、無發布憑證的容器執行合成資料測試,不代表站長親測。
實測套件:1.109.1;文件 commit:8c97c243feb8。套件與 README 分別固定,不假定是同一版。測試日期:2026-11-15。