프롬프트 캐싱

# 긴 system prompt는 자동으로 캐싱됩니다
SYSTEM_PROMPT = """당신은 OfoxAI의 기술 지원 어시스턴트입니다.
 
다음은 알아야 할 제품 정보입니다:
- OfoxAI는 LLM Gateway로, 100개 이상의 대형 모델을 지원합니다
- OpenAI / Anthropic / Gemini 3대 프로토콜을 지원합니다
- ...
(추가 제품 지식 생략)
"""
 
# 첫 번째 요청: system prompt 캐싱
response1 = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},
        {"role": "user", "content": "OfoxAI는 어떤 모델을 지원하나요?"}
    ]
)
 
# 두 번째 요청: 캐시 적중, 더 빠르고 저렴
response2 = client.chat.completions.create(
    model="openai/gpt-4o",
    messages=[
        {"role": "system", "content": SYSTEM_PROMPT},  # 캐시 적중
        {"role": "user", "content": "Claude Code는 어떻게 설정하나요?"}
    ]
)

import anthropic
 
client = anthropic.Anthropic(
    base_url="https://api.ofox.ai/anthropic",
    api_key="<OFOXAI_API_KEY>"
)
 
response = client.messages.create(
    model="anthropic/claude-sonnet-4.6",
    max_tokens=1024,
    system=[{
        "type": "text",
        "text": "당신은 전문 어시스턴트입니다. 다음은 제품 문서입니다...",
        "cache_control": {"type": "ephemeral"}  # 명시적으로 캐싱 활성화
    }],
    messages=[{"role": "user", "content": "제품 특징을 요약해주세요"}]
)
 
# 캐시 적중 상황 확인
print(f"캐시 기록 토큰: {response.usage.cache_creation_input_tokens}")
print(f"캐시 적중 토큰: {response.usage.cache_read_input_tokens}")

# ✅ 좋은 설계: 고정 콘텐츠가 앞에, 변동 콘텐츠가 뒤에
messages = [
    {"role": "system", "content": LONG_STATIC_PROMPT},   # 캐싱 가능
    {"role": "user", "content": dynamic_question}          # 변동 부분
]
 
# ❌ 나쁜 설계: 변동 콘텐츠가 고정 콘텐츠 사이에 끼어 있음
messages = [
    {"role": "system", "content": f"Today is {date}. {LONG_PROMPT}"}  # 매일 달라져 캐싱 불가
]