backend.ai

멀티모달 및 멀티에이전트 AI 시스템이 차세대 표준으로 자리 잡고 있으며, NVIDIA NIM은 최적화된 컨테이너 템플릿을 활용하여 이를 실현하는 방향을 제시하고 있습니다. 본 세션에서는 GPU 네이티브 컨테이너 엔진이 NIM을 더욱 가속화하여 이러한 멀티에이전트 AI 시스템을 저비용, 고성능으로 제공하는 방법을 설명합니다. 이를 위해 GPU 분할 가상화 기술을 활용하여 단일 GPU에서 다양한 연산 요구를 가진 여러 모델을 효율적으로 실행하고, 메모리 크기 추정 기법을 통해 리소스를 자동으로 할당하고 모델을 조합하며, 추론 메트릭을 기반으로 NIM 컨테이너를 자동 확장합니다. 이러한 기능은 에어갭이 적용된 온프레미스 클러스터와 클라우드 네이티브 환경 모두에서 구현되었습니다. 또한, 오픈 모델을 손쉽게 가져오고, 미세 조정하고, 배포할 수 있는 간소화된 UI를 제공하여 사용자가 복잡한 기술적 과정을 신경 쓰지 않고도 AI 모델을 활용할 수 있도록 지원합니다. 이제 NIM이 구축하는 범용 AI 시스템의 세계로 함께 들어가 봅시다.