[LLM] Vertex AI를 쓰기 전에 걸어 둘 비용 가드레일 — 예산 알림과 토큰 할당량
LLM API를 서비스에 붙이면 비용이 트래픽보다 빨리 는다. 대부분은 기능을 붙이는 데 집중하느라 비용 쪽 설정을 나중으로 미룬다. 그런데 GCP에서 Vertex AI를 쓰기 시작할 때 기본 상태를 열어 보면, 막혀 있는 것이 거의 없다. 예산은 없고, 토큰 할당량은 사실상 무제한이다. 처음에 걸어 둘 것은 네 가지다. 순서대로 예산 알림, 토큰 할당량, 프로젝트 분리, 인증 점검이다. 각각이 막는 것과 못 막는 것이 다르니 하나만 걸고 안심하면 안 된다. 비용은 어디서 불어나나 LLM 과금은 입력 토큰과 출력 토큰을 따로 센다. 단가는 출력이 더 비싼 경우가 많아서 출력 길이부터 의심하게 되는데, 실제로 먼저 불어나는 건 입력인 경우가 많다. 입력은 코드가 조용히 늘리기 쉽다. ...