Skip to Content
개발 가이드개요

개발 가이드

API 연동을 마친 후에는 하려는 작업에 맞는 가이드를 찾아 보십시오. 각 가이드에는 실행 가능한 예시가 포함되어 있으며, 가이드별로 지원하는 프로토콜은 각 페이지의 내용을 기준으로 합니다.

기본 기능

모델이 “어떻게 응답할지”를 다룹니다. 실시간 출력, 함수 호출, 고정된 형식의 응답, 이미지 이해가 해당됩니다.

하려는 작업참고 문서핵심 내용
전체 생성을 기다리지 않고 응답을 실시간으로 표시스트리밍 응답SSE 푸시, 연결 끊김 시 재연결과 스트리밍 중 함수 호출 포함
모델이 내 함수나 외부 API를 호출함수 호출tools 정의, 병렬 호출과 tool_choice 지원
출력을 JSON 형식으로 고정구조화된 출력JSON Mode와 JSON Schema 제약
모델이 이미지를 이해비전 이해이미지 URL 또는 Base64, 여러 이미지 비교 가능

비용 절감과 안정성

같은 요청을 더 적은 비용으로 처리하고, 문제가 발생해도 서비스가 중단되지 않도록 합니다.

하려는 작업참고 문서핵심 내용
긴 프롬프트를 반복 전송할 때 비용 절감프롬프트 캐싱반복되는 접두사를 캐싱하여 토큰 비용과 지연 시간 절감
Gemini의 대량 컨텍스트를 여러 요청에서 재사용Gemini 명시적 캐싱cachedContents를 직접 생성하고 참조하여 적중을 보다 확실하게 보장
요청을 처리할 공급자 지정공급자 라우팅기본은 자동 라우팅, 필요 시 provider.type으로 지정
주 모델 오류 시 대체 모델로 자동 전환장애 복구provider.fallback, 대체 모델 최대 3개

오류 발생 시

요청이 실패하거나 속도 제한 또는 차단이 발생하면 먼저 이 항목을 확인하십시오.

발생한 상황참고 문서핵심 내용
오류가 발생하여 처리 방법과 재시도 여부를 알고 싶음오류 처리상태 코드, 오류 형식, 지수 백오프와 타임아웃 설정
429 Too Many Requests속도 제한기본 100 RPM, 팀 단위 집계, 응답 헤더로 대기 시간 판단
콘텐츠 안전 검사로 요청이 차단되거나 일시 중지됨콘텐츠 안전발동 규칙, 일시 중지 시간, 복구 방법

SDK와 프레임워크

코드에서 기존 SDK나 프레임워크로 연동하며, 변경할 항목은 API 주소와 Key뿐입니다.

사용 중인 도구참고 문서
OpenAI 공식 SDK(기존 프로젝트 이전)OpenAI SDK
LangChainLangChain
LlamaIndexLlamaIndex
Last updated on