데이터센터는 시설, AI 팩토리는 AI 운영에 둔 초점
IBM은 데이터센터를 애플리케이션·서비스를 실행하고 관련 데이터를 저장·관리하는 IT 인프라가 있는 공간이나 시설로 설명합니다. NVIDIA의 AI 팩토리 정의는 데이터 수집, 학습, 미세조정, 대규모 추론까지 AI 생애주기를 다루는 특화 컴퓨팅 인프라에 초점을 둡니다. 따라서 둘을 서로 배타적인 건물 분류로 이해하기보다는 무엇을 설명하는 말인지 구분하는 편이 정확합니다. AI 팩토리는 데이터센터 자원을 기반으로 구성할 수 있고, 데이터센터에서도 AI 외의 서비스가 함께 운영될 수 있습니다. AI 팩토리라는 이름만으로 모든 작업의 속도나 경제성을 알 수는 없습니다.
GPU만 놓고 끝나는 구성이 아닙니다
NVIDIA의 기업용 참조 아키텍처는 가속 컴퓨팅, 네트워크, 저장장치, 소프트웨어, 모델, 데이터 처리와 보안을 함께 다룹니다. 공간·전력·냉각과 기존 운영 도구에 맞는 설계도 요구합니다. 문서에는 데이터를 GPU에 충분히 공급하지 못하는 네트워크나 저장 경로가 일정과 비용에 영향을 줄 수 있다고 설명돼 있습니다. 그렇다고 모든 AI 팩토리가 같은 장비나 냉각 방식을 쓰는 것은 아닙니다. 해당 문서는 현장 조건에 따라 공랭식 설계와 더 큰 랙 규모 설계를 구분합니다. 공급사가 제시하는 설계 선택지에 관한 설명이지, 이 글이 특정 장비의 도입 적합성을 검사했다는 뜻은 아닙니다.
문서 검색 업무라면 이런 요구사항이 더 필요합니다
사내 규정에서 답을 찾아주는 서비스를 가정하겠습니다. 사용자가 늘었는데 답변이 늦다면 모델 계산뿐 아니라 문서 검색, 접근 권한 확인, 요청 대기 중 어느 단계에서 시간이 걸렸는지 나눠야 합니다. GPU를 늘리기 전에 업무 조건을 다음처럼 적을 수 있습니다. 아래는 실제 회사나 제품을 시험한 표가 아닙니다.
| 구분 | 정할 내용 | 검증할 결과 |
|---|---|---|
| 데이터 | 문서 종류·갱신 주기·열람 권한 | 최신 문서 반영과 권한 밖 정보 차단 |
| 요청 | 동시 이용자·질문과 문서 길이 | 혼잡한 시간의 대기·응답 지연 |
| 답변 | 근거 제시·정확성·실패 처리 기준 | 완료한 업무와 재작업 건수 |
| 운영 | 장애 대응·복구·변경 승인 담당 | 복구 절차와 비용 산정 범위 |
처리량·전력·매출을 같은 숫자처럼 읽지 마세요
NVIDIA는 토큰 처리량과 에너지 효율을 AI 팩토리 설명의 주요 지표로 제시합니다. 다만 토큰을 많이 생성했다는 사실만으로 답변이 정확하거나 유료 수요가 충분하다는 결론은 나오지 않습니다. 비교할 때는 모델, 입력·출력 길이, 동시 요청과 허용 지연을 같이 적어야 어떤 조건의 수치인지 알 수 있습니다. 발표 자료의 GPU 대수는 장비 규모에 관한 정보입니다. 전력 숫자는 공급 가능 용량인지 실제 사용량인지 단위와 기준을 읽어야 합니다. 처리량은 어떤 작업을 얼마 동안 수행한 값인지, 가동률은 어느 자원과 기간을 기준으로 했는지 묻는 것이 좋습니다. 서로 단위가 다른 숫자를 하나의 성공률로 합치지 마세요. 사업성까지 판단하려면 설비·운영 비용과 실제 수요, 장애·재작업 조건이 더 필요합니다. 이 글은 특정 AI 팩토리의 수익성을 평가하지 않습니다. 시설의 전력과 냉각이 왜 중요한지는 아래 AI 데이터센터 글에서 이어집니다.