학습 이후에도 답을 만드는 계산은 남는다
학습은 모델의 매개변수를 만드는 과정이고, 추론은 그 모델을 사용해 입력에 대한 결과를 계산하는 과정입니다. 서비스 이용자는 모델 학습비를 직접 내지 않더라도 요청을 처리하는 API나 서버 비용을 낼 수 있습니다. 소비자용 월 구독료와 개발자용 API 요금도 같은 항목이라고 가정하면 안 됩니다.
입력과 출력 단가를 분리해서 계산
가상의 API가 입력 100만 토큰당 1달러, 출력 100만 토큰당 4달러라고 가정하겠습니다. 호출당 입력 2,000·출력 500토큰을 1,000회 쓰면 입력은 200만 토큰으로 2달러, 출력은 50만 토큰으로 2달러입니다. 합계는 4달러입니다. 세금·환율·검색 도구·캐시 등은 제외했습니다. 이 단가는 실제 요금표가 아닙니다.
| 항목 | 총 사용량 | 가정 비용 |
|---|---|---|
| 입력 | 2,000 × 1,000 = 200만 토큰 | 2달러 |
| 출력 | 500 × 1,000 = 50만 토큰 | 2달러 |
| 합계 | 입력·출력만 포함 | 4달러 |
질문 한 번이 API 한 번은 아닐 수 있다
사용자 요청마다 초안 생성과 검토 호출을 각각 실행한다면 두 호출을 더해야 합니다. 위와 같은 크기의 호출을 요청당 두 번 수행하는 가정에서는 1,000건의 사용자 요청이 2,000회 호출, 8달러가 됩니다. 재시도·도구 호출·대화 기록이 추가될 때는 각 호출의 실제 사용량 기록으로 바꿔 계산하세요. Google의 Gemini API 요금표도 입력·출력 외에 캐시와 검색 연동 등 항목을 별도로 안내합니다.
사용량 기록에서 캐시와 추론 토큰을 중복 계산하지 않기
답변 화면에 보이는 글자 수와 청구 토큰 수는 다릅니다. 아래는 OpenAI Responses API의 항목 이름을 빌린 가상 기록입니다. input_tokens가 2,000이고 그 안의 cached_tokens가 1,500이면, 일반 입력은 500토큰입니다. input_tokens_details의 cache_write_tokens는 0, 별도 도구·저장 비용도 없다고 가정했습니다. 입력 전체 2,000토큰 요금에 캐시 1,500토큰 요금을 다시 더하지 않습니다. output_tokens가 500이고 output_tokens_details의 reasoning_tokens가 300이라면, 여기서 300은 출력 500에 포함된 세부 값입니다. 500 + 300으로 더하지 않습니다. OpenAI는 이런 추론 토큰을 출력 요금으로 청구한다고 설명합니다. 표시된 짧은 답변만 세면 비용이 작게 잡힐 수 있는 이유입니다. 일반 입력 100만 토큰당 1달러, 캐시 입력 0.25달러, 출력 4달러라는 가정에서는 아래 한 번의 비용이 0.002875달러입니다. 같은 기록이 정확히 1,000회라면 2.875달러입니다. 앞의 4달러 예제와 달리 입력 일부에 캐시 단가를 적용한 계산이지 실제 제품의 할인율이나 견적은 아닙니다. 캐시를 새로 기록하는 요금이나 보관 시간 요금이 있는 모델은 해당 항목도 따로 대조해야 합니다. 같은 문서를 다시 보냈다고 캐시 적중을 가정하지 마세요. 호출별 사용량, 모델, 실행 등급, 도구 내역을 해당 시점 요금표와 맞춰 합산한 뒤 청구서와 비교합니다. 다른 API에서는 필드 이름과 과금 구분이 달라 이 예제를 그대로 복사하면 안 됩니다.
| 구분 | 계산에 넣는 토큰 | 100만 토큰당 가정 단가 | 1회 비용 |
|---|---|---|---|
| 일반 입력 | 2,000 - 1,500 = 500 | 1달러 | 0.0005달러 |
| 캐시 입력 | 1,500 | 0.25달러 | 0.000375달러 |
| 출력 | 500 (추론 300 포함) | 4달러 | 0.002달러 |
| 합계 | 총 2,500토큰, 추론 값 중복 합산 안 함 | 단가 하나로 합산하지 않음 | 0.002875달러 |
전용 서버는 한산한 시간도 계산 대상
Hugging Face Inference Endpoints는 인스턴스 종류와 시간당 단가를 제시하며 실제 비용은 분 단위로 계산합니다. 정상 배포된 엔드포인트의 초기화·실행 자원이 과금 대상이라고 설명합니다. 가상의 서버 1대를 시간당 0.5달러로 하루 24시간, 30일 유지하면 360달러입니다. 질문이 적어도 계속 가동한다는 조건에서는 이 비용이 남습니다. 이 숫자는 실제 인스턴스 요금이 아닙니다.
절약 실험은 완료된 작업 한 건으로 비교
원고 분류처럼 반복되는 업무라면 같은 검증용 입력 묶음으로 두 설정을 비교하세요. 기록할 것은 총 비용, 올바르게 완료된 건수, 재시도 횟수와 응답 시간입니다. 100건 처리비가 1달러인데 80건만 쓸 수 있다면 사용 가능한 결과 한 건당 비용은 0.0125달러입니다. 싼 모델로 바꾼 뒤 재작업이 늘면 토큰 단가만 낮아진 것이지 전체 업무 비용이 줄었다고 볼 수 없습니다.