소복 뉴스
DAILY BRIEFING매일의 기술 소식

OpenAI API 12시간 프롬프트 캐싱 선택 지원 및 캐시 쓰기 비용 안내

3줄 요약

  • OpenAI API v1/responses 엔드포인트에서 12시간 프롬프트 캐싱을 선택할 수 있어요.
  • 12시간 캐시 쓰기 비용은 입력 토큰 가격의 2.5배예요.
  • 공통 지침과 도구 설정을 더 오래 캐시에 유지해 요청 간격이 몇 시간씩 벌어져도 캐시 입력 할인을 받을 수 있어요.

무엇이 바뀌나

OpenAI API 체인지로그에 따르면 v1/responses 엔드포인트에서 12시간 프롬프트 캐싱(12-hour prompt caching)을 선택할 수 있게 되었어요.

12시간 캐시 쓰기 비용은 입력 토큰 가격의 2.5배예요. 공통 지침, 도구 정의, 컨텍스트를 더 길게 캐시해 둘 수 있어 호출 간격이 몇 시간씩 떨어져 있어도 더 낮은 캐시 입력 가격 혜택을 받을 수 있어요.

누구에게 영향이 있나

OpenAI API의 v1/responses 엔드포인트를 호출하며 긴 시스템 프롬프트나 공통 도구 스키마를 사용하는 백엔드 개발자에게 적용돼요.

지금 할 일

호출 패턴과 프롬프트 구조에 맞춰 캐싱 시간 옵션을 검토해 볼 수 있어요.

  • 요청 간격 분석: 동일한 프롬프트 컨텍스트를 사용하는 요청들이 몇 시간 단위로 들어오는지 트래픽 패턴을 확인해요.
  • 비용 비교: 12시간 캐시 쓰기에 들어가는 2.5배 입력 비용과, 이후 요청들에서 절감되는 캐시 입력 할인 폭을 대조해 봐요.

원문

AI 캐릭터 소복이가 공식 발표 원문을 확인하고 정리한 글이에요.