Cosmos 3에서 합쳐진 세 가지 일
NVIDIA의 2026년 5월 31일 발표는 물리적 상황에 대한 추론, 세계 생성, 행동 생성을 하나의 기반 모델에 결합했다고 설명합니다. 이전 Cosmos 계열에서 나뉘어 있던 작업을 통합하는 방향입니다. 여기서 월드 모델은 관찰한 장면과 행동을 바탕으로 환경의 변화를 다루는 모델로 이해하면 됩니다. 구조 이름은 Mixture-of-Transformers(MoT)입니다. 관찰 내용을 해석하는 Reasoner와 영상·행동 등을 만드는 Generator를 결합합니다. 따라서 ‘Cosmos로 만들었다’는 말만으로 결과물이 장면 설명인지, 합성 영상인지, 로봇용 행동 데이터인지 알 수는 없습니다.
같은 창고 영상도 입력과 출력에 따라 용도가 다릅니다
예를 들어 지게차가 상자 옆을 지나가는 창고를 가정해 보겠습니다. 영상 속 상황을 글로 설명받는 것과 다른 움직임의 영상을 생성하는 것은 다른 작업입니다. 아래 상황은 브리프노트가 기능 구분을 위해 만든 예시이며 실제 운용 시험이 아닙니다. 현재 공식 Model Reference는 Reasoner의 결과를 텍스트로, Generator의 결과를 영상·소리·행동 계열로 구분합니다. 모델과 실행 방식에 따라 지원 범위가 다르므로 제품명만 보고 모든 기능이 같은 API에서 작동한다고 판단하지 마세요.
| 하려는 일 | 구분 | 확인할 결과 |
|---|---|---|
| 촬영한 상황에 대해 질문 | Reasoner | 영상·질문을 바탕으로 만든 텍스트 답변 |
| 다른 움직임의 장면을 생성 | Generator | 조건을 바탕으로 생성한 영상 등 |
| 특정 로봇 작업에 맞게 활용 | 행동 모델링·후속 학습 | 기기와 작업에 맞춘 데이터·평가가 별도로 필요 |
Nano 16B, Super 64B, Edge 4B는 같은 실행 조건이 아닙니다
5월 발표 글은 Nano와 Super 두 모델을 소개하지만, 10월 21일 확인한 공식 Model Matrix에는 Edge도 있습니다. 이 표는 문서의 권장 환경을 요약한 것이지 브리프노트가 확인한 최소 사양이나 속도 순위가 아닙니다. B는 10억 단위의 매개변수 수를 뜻하며 GPU 메모리 GB와는 다른 숫자입니다. 같은 이름 아래에도 이미지·영상 생성이나 로봇 정책용 변형이 있습니다. 다운로드하려는 정확한 체크포인트와 실행 안내를 확인해야 합니다. ‘Nano’라는 이름만으로 일반 노트북에서 바로 실행된다거나, 큰 모델이 모든 작업에서 더 낫다고 단정할 수 없습니다.
| 모델 | 매개변수 | 공식 권장 하드웨어 예시와 용도 |
|---|---|---|
| Cosmos3-Nano | 16B | RTX PRO 6000·H100·B200: 속도와 품질의 균형, 후속 학습 |
| Cosmos3-Super | 64B | H200·B200·GB200: 고품질 합성 데이터 생성·교사 모델 |
| Cosmos3-Edge | 4B | Jetson AGX Orin·Thor·RTX PRO 6000: 엣지 배치·로봇 정책·시각 추론 |
그럴듯한 영상은 물리적으로 정확한 시뮬레이션이 아닙니다
NVIDIA의 Cosmos3-Nano 모델 카드는 물체가 사라지거나 변형되는 현상, 부정확한 충돌·움직임, 잘못된 공간·인과관계 추론이 생길 수 있다고 밝힙니다. 명시적인 물리 시뮬레이터가 없으며 물리 법칙과 접촉 등을 근사한다는 한계도 적혀 있습니다. 결과를 정확한 물리 시뮬레이션이나 안전 인증된 의사결정으로 취급하지 말라는 설명입니다. 따라서 시연 영상에서 물건을 잘 집었다는 장면만 보고 실제 로봇의 성공률로 읽으면 안 됩니다. 발표 자료를 비교할 때는 ‘생성 영상인가, 실제 장치 시험인가’, ‘어떤 작업·환경에서 몇 번 시도했나’, ‘실패와 사람이 개입한 경우를 포함했나’를 나눠 확인하세요. 이는 자료를 읽는 기준이며, 브리프노트가 해당 시스템의 안전성을 판정했다는 뜻은 아닙니다.
직접 써보려면 모델 이름보다 작업부터 정하기
설치 전에 필요한 결과를 한 가지로 정하세요. 영상에 관한 텍스트 답변이 필요한지, 학습용 합성 영상이 필요한지, 특정 로봇의 행동 모델을 조정하려는지에 따라 실행 경로가 달라집니다. 공식 Model Reference의 입출력 표에서 작업을 고르고, Model Matrix에서 모델을 고른 뒤 설치 안내로 넘어가는 순서가 낫습니다. 확인한 설치 문서는 Hugging Face 모델 저장소의 접근 신청과 읽기 권한 토큰 인증을 안내합니다. NIM 경로는 별도의 NGC 인증을 사용합니다. 공개 모델이라는 말이 무계정 접근이나 GPU·호스팅 비용까지 무료라는 뜻은 아닙니다. 실행 환경과 이용 조건은 선택한 경로에서 따로 확인해야 합니다. 처음 평가할 영상에는 권한이 있는 비민감 자료를 쓰세요. 회사 CCTV나 고객 영상부터 외부 서비스에 올리지 말고 데이터 처리 조건과 업로드 권한을 확인해야 합니다. 이 글은 접근 승인, 실행 성공, 특정 장치와의 호환을 확인한 사용 후기가 아닙니다.