AI API의 캐시 요금은 왜 이렇게 쌀까
AI API는 한 번 본 토큰을 다시 받으면 입력 가격의 10분의 1, 많게는 40분의 1만 받습니다. 이미 한 계산을 건너뛰기 때문입니다. 대부분은 따로 켜지 않아도 알아서 캐시합니다. 바뀌는 내용을 프롬프트 맨 뒤에 두면 더 자주 맞습니다. 캐시가 맞았다고 다른 사람이 같은 질문을 했다는 뜻은 아닙니다. 다만 2025년 감사에서는 사용자끼리 캐시를 공유하던 곳이 일곱 곳 나왔습니다.
자세히 읽기AI 시대를 살아가는 보안 연구자의 발자취.
AI API는 한 번 본 토큰을 다시 받으면 입력 가격의 10분의 1, 많게는 40분의 1만 받습니다. 이미 한 계산을 건너뛰기 때문입니다. 대부분은 따로 켜지 않아도 알아서 캐시합니다. 바뀌는 내용을 프롬프트 맨 뒤에 두면 더 자주 맞습니다. 캐시가 맞았다고 다른 사람이 같은 질문을 했다는 뜻은 아닙니다. 다만 2025년 감사에서는 사용자끼리 캐시를 공유하던 곳이 일곱 곳 나왔습니다.
자세히 읽기이 카테고리에는 아직 글이 없습니다.