Skip to Content
開發指南概覽

開發指南

介面已經打通之後,依要完成的工作找對應指南。每篇皆提供可執行的範例,各篇涵蓋的協議以頁面內容為準。

基礎功能

決定模型「如何回答」:逐字輸出、呼叫你的函式、依固定格式回傳、讀懂圖片。

我想…請看重點
讓回覆逐字顯示,不必等整段生成完畢串流回應SSE 推送;含斷線重連與串流下的函式呼叫
讓模型呼叫我的函式或外部 API函式呼叫定義 tools,支援平行呼叫與 tool_choice
讓輸出固定為 JSON結構化輸出JSON Mode 與 JSON Schema 約束
讓模型看圖視覺理解圖片 URL 或 Base64,可多圖比較

節省成本與穩定性

同樣的請求花費更少、發生問題時不中斷。

我想…請看重點
長提示詞重複傳送,想降低成本提示快取快取重複前綴,降低 Token 費用與延遲
Gemini 的大段上下文跨請求重複使用Gemini 顯式快取主動建立並引用 cachedContents,命中更確定
指定由哪家供應商處理請求供應商路由預設自動路由;需要時以 provider.type 指定
主模型出錯時自動改用備用模型故障回退provider.fallback,最多 3 個備選模型

發生錯誤時

請求失敗、被限流或被攔截時,請先看這裡。

遇到…請看重點
出現錯誤,想知道如何處理、是否要重試錯誤處理與重試狀態碼、錯誤格式、指數退避與逾時設定
429 Too Many Requests速率限制預設 100 RPM,按團隊合計;讀取回應標頭決定等待時間
請求被內容安全攔截或暫停內容安全觸發規則、暫停時長與恢復方法

SDK 與框架

在程式中使用現成的 SDK 或框架接入,需要修改的只有 API 位址與 Key。

我在用…請看
OpenAI 官方 SDK(遷移既有專案)OpenAI SDK
LangChainLangChain
LlamaIndexLlamaIndex
Last updated on