솔직히 말하면 나는 LLM serving을 대규모 프로덕션 환경에서 직접 굴려본 경험이 아직 많지 않다. 내 본업은 대규모 광고 serving 인프라다. 매일 씨름하는 일은 새로운 모델을 발명하는 쪽보다, 이미 학습된 모델을 피크 트래픽에서도 정해진 latency 예산 안에 우겨 넣고 요청당 비용을 틀어막는 쪽에 가깝다. 그러니 지금 AI 인프라 판에서 벌어지는 일을 현장 베테랑처럼 논할 처지는 못 된다.
그럼에도 올해 여름 연달아 발표된 두 건의 투자 숫자를 보면 그냥 지나치기가 어렵다.
2026년 6월 22일, Baseten은 Series F로 15억 달러를 조달하면서 기업가치 130억 달러를 인정받았다고 공식 발표했다. 한 달도 채 지나지 않은 2026년 7월 16일에는 Fireworks가 Series D로 15억 500만 달러를 조달하며 기업가치 175억 달러를 기록했다. 두 회사가 한 달 간격으로 끌어모은 돈만 합쳐도 30억 달러가 넘는다. 모델을 직접 학습시키는 프론티어 연구소가 아니라, 남이 만든 모델을 대신 돌려서 응답을 내보내는 inference 레이어에 이 정도 자본이 몰린 셈이다.
숫자 안쪽을 들여다보면 자본이 왜 이쪽으로 쏠렸는지 조금은 감이 온다.
Baseten은 공식 발표에서 지난 1년간 매출이 20배, inference 볼륨이 40배 늘었다고 밝혔다. 고객사로는 Cursor와 Notion 같은 곳을 든다. 코딩 에디터나 문서 도구처럼 사용자가 키보드를 두드릴 때마다 뒤에서 모델이 돌아가는 제품들이다. Baseten 스스로는 발표문에 “inference is the most important layer in the AI stack”이라고 적었다. 자기 사업을 설명하는 회사의 선언이니 어느 정도 에누리해서 읽어야겠지만, 1년 사이 볼륨 40배라는 숫자는 단순한 수사로 치부하기 어렵다.
Fireworks 쪽 수치는 규모 면에서 더 묵직하다. 2026년 7월 발표 기준으로 연환산 매출 런레이트가 10억 달러를 넘어섰고, 이는 전년 대비 5배 성장한 수치다. 하루에 서빙하는 token 수 역시 15조 개에서 40조 개 이상으로 불어났다. 개인적으로 가장 눈길이 갔던 대목은 그다음 문장이었다. 서빙되는 token의 95%가 고객 데이터로 특화된(specialized) 모델에서 나온다는 것이다.
범용 모델 하나를 띄우는 일과 다른 문제
광고 serving을 오래 하다 보면 시스템의 병목이 어디서 터지는지 대충 몸으로 익히게 된다. 트래픽이 몰리는 시간대에 p99 같은 tail latency가 튀기 시작하면, 결국 싸움은 메모리 대역폭과 배치 효율, 그리고 하드웨어 단가 대비 처리량으로 좁혀진다. 모델을 새로 학습시키는 팀과 달리 serving 엔지니어의 성적표는 매 밀리초와 매 달러로 찍힌다.
그래서인지 Fireworks의 ‘95% specialized 모델’이라는 수치가 예사롭지 않게 읽힌다. 거대한 범용 모델 하나를 고정해 두고 요청만 받아내는 구조라면 트래픽 예측이나 캐싱 전략이 비교적 단순해질 여지가 있다. 반면 고객사마다 자사 데이터로 튜닝한 수천, 수만 개의 특화된 모델을 동시에 올려두고 하루 40조 개가 넘는 token을 뱉어내야 한다면 얘기가 달라진다.
요청마다 다른 가중치를 빠르게 갈아끼우거나 멀티테넌시 환경에서 GPU 메모리를 쪼개 쓰는 일, 그러면서도 각 고객사가 기대하는 응답 속도를 맞추는 일은 전통적인 웹 serving이나 광고 serving보다 훨씬 까다로운 스케줄링 문제일 가능성이 크다. 학습(training)이 거대한 한 번의 배치 작업에 가깝다면, 특화된 모델들의 inference는 수많은 이질적 워크로드가 실시간으로 부딪히는 거대한 라우팅과 자원 배분의 문제에 가까워 보인다.
광고 서빙에서 LLM 서빙으로 시선을 옮기며
내가 커리어의 다음 방향으로 AI와 LLM serving 인프라 쪽을 기웃거리고 있는 것도 결국 이 지점 때문이다. 모델 아키텍처가 아무리 빠르게 바뀌어도, 실제 서비스가 돈을 벌기 시작하면 병목은 어김없이 서빙 레이어로 내려온다. Baseten의 매출 20배 성장이나 Fireworks의 10억 달러 런레이트는 AI가 실험실을 빠져나와 실제 프로덕션 트래픽을 감당하는 단계로 넘어갔다는 신호처럼 보인다.
물론 광고 serving에서 익힌 감각이 LLM serving에 그대로 통할지는 아직 확신할 수 없다. 광고 요청 하나는 수 밀리초 안에 끝나는 단발성 경매에 가깝지만, LLM inference는 token 하나씩 스트리밍으로 밀어내야 하고 요청마다 출력 길이도 제각각이다. 메모리 점유 시간도, tail latency를 관리하는 방식도 전혀 다를 것이다. 내가 가진 경험이 절반쯤은 쓸모가 있고 절반쯤은 새로 배워야 할 짐이 될지도 모른다.
그래도 서빙 엔지니어라는 직업의 본질 자체는 크게 달라지지 않을 것 같다. 남들이 화려한 모델 성능 지표를 이야기할 때, 뒤쪽에서 조용히 지연 시간과 비용 곡선을 깎아내리는 일 말이다. 다만 그 무대가 전통적인 추천·광고 파이프라인에서 수십조 개의 token이 오가는 추론 클러스터로 옮겨가고 있을 뿐이다.
다음에는 Fireworks가 말하는 특화 모델 서빙 구조에서 실제로 어떤 방식으로 가중치 로딩과 스케줄링 오버헤드를 줄이는지 공개된 기술 문서들을 좀 더 파보려 한다.
출처: 본 글의 투자 유치 금액, 기업가치 및 성장 지표는 Fireworks 공식 발표(2026-07-16)와 Baseten 공식 발표(2026-06-22)를 직접 확인해 작성했다.