backend.ai

안녕하세요, 래블업입니다. 래블업이 오는 3월 17일부터 21일까지 미국 새너제이에서 열리는 '엔비디아 GTC 2025'에 실버 스폰서로 참가합니다. 

래블업(#547)은 GTC 2025에서 당사의 AI Infrastructure Operating Platform, Backend.AI를 기반으로 하는 두 가지 혁신적인 제품을 공개합니다. Backend.AI는 GPU 인프라의 성능을 극대화하고 사용성을 개선해주는 가속 워크로드 호스팅 플랫폼으로, 클라우드 또는 온프레미스/폐쇄망 환경 클러스터를 비롯한 다양한 환경에서 실행할 수 있습니다. Backend.AI는 NVIDIA DGX-Ready 소프트웨어 인증을 받아 DGX 플랫폼과의 높은 호환성과 동작 안정성을 보장합니다.

#1. Backend.AI Continuum

Backend.AI Continuum은 클라우드 API 기반 서비스를 이용하는 기업들이 네트워크 장애나 서비스 중단 상황에도 중요 업무를 지속할 수 있게 해주는 솔루션입니다. 이 기술은 평상시 클라우드와 온프레미스 환경 사이에서 지능형 중개 역할을 수행하다가, 클라우드 접속 장애 발생 시 자동으로 로컬 자원으로 전환해 API 호출과 처리를 끊김 없이 유지시킵니다. Backend.AI Continuum은 클라우드의 유연성을 간직하며 온프레미스의 안정성을 동시에 확보할 수 있는 혁신적인 솔루션입니다.

최근 증가한 글로벌 기업들의 클라우드 서비스 의존도를 고려했을 때, Backend.AI Continuum은 북미 시장 공략의 핵심으로 자리매김할 것으로 전망됩니다. 현재 래블업은 미국 내 여러 잠재 고객들과 Backend.AI Continuum을 활용한 파일럿 프로젝트를 진행 중입니다.

#2. Backend.AI for Personal Supercomputer

Backend.AI for Personal Supercomputer는 NVIDIA DGX Spark와 같은 개인용 슈퍼컴퓨터 제품 또는 Jetson Orin™ Nano 시리즈 모듈 기반 엣지 컴퓨팅 장치에서 실행되는 경량 버전의 Backend.AI입니다. 기존 Backend.AI의 핵심 기능을 소비자 책상 위에서 사용할 수 있도록 최적화한 제품으로, 에지 AI 컴퓨팅 환경에서도 고밀도·고집적 생성형 인공지능(Gen AI) 성능을 제공하는 것이 특징입니다. Backend.AI for Personal Supercomputer를 활용하면 인공지능 기술에 관심이 있는 개인, 혹은 중소기업도 편리하게 AI를 도입하고, 관리할 수 있을 것으로 전망합니다.

Sessions

래블업의 신정규 대표와 김준기 CTO가 참여하는 세션 발표에 대해 알아보세요.

Talks & Panels | Universal NIM Acceleration With GPU-Sharing Containers (Presented by Lablup) [S74194]

https://www.nvidia.com/gtc/session-catalog/?regcode=no-ncid&ncid=no-ncid&tab.catalogallsessionstab=16566177511100015Kus&search=lablup#/session/1734356801656001mJ1r

NIM의 세계에 푹 빠질 준비가 되셨나요? NVIDIA NIM은 최적화된 컨테이너 템플릿을 사용하여 멀티모달, 멀티에이전트 AI 시스템을 구현할 수 있는 길을 제시합니다. 래블업은 이 세션을 통해 GPU 네이티브 컨테이너 엔진이 어떻게 NIM을 더욱 가속화하여 이러한 고급 멀티 에이전트 AI 시스템을 저렴한 비용과 고성능으로 제공하는지 설명합니다. 이 엔진은 새로운 GPU 분할 가상화 기술을 활용하여 단일 GPU에서 성능 병목 현상이 있는 여러 가지 모델을 수용하고, 메모리 크기 추정 기술을 통해 리소스 할당 및 모델 조합을 자동화하며, 추론 런타임 메트릭을 통합하여 NIM 컨테이너를 자동 확장할 수 있습니다. 이러한 기능은 에어 갭 온프레미스 클러스터와 클라우드 네이티브 설정 모두에서 구현될 수 있습니다. 클릭 한 번으로 오픈 모델을 가져오고, 미세 조정하고, 제공할 수 있는, 사용자 단의 복잡도를 혁신적으로 낮춘 서비스도 소개합니다.

Theater Talk | Resilient Edge-Cloud Hybrid AI Infrastructure: Orchestrating Multi-Modal Agents in Resource-Constrained Environments (Presented by Lablup) [EXS74187]

https://www.nvidia.com/gtc/session-catalog/?regcode=no-ncid&ncid=no-ncid&tab.catalogallsessionstab=16566177511100015Kus&search=lablup#/session/1734342221616001LkG3

탄력적인 AI 인프라 구축을 위한 새로운 솔루션을 살펴보세요. 지능형 오케스트레이션을 통해 엣지 컴퓨팅과 클라우드 컴퓨팅을 원활하게 통합하는 길을 여러분께 보여드립니다. 래블업은 8노드 NVIDIA Jetson Nano 클러스터가 어떻게 여러 LLM(Gemma 2 2B 및 Llama 3.2 3B 포함)을 제공하고, 클라우드 GPU 통합을 유지하면서 멀티 모달 AI 에이전트를 지원하는지 시연할 예정입니다. 텍스트, 이미지, 센서 데이터를 처리하는 분산형 AI 시스템을 오케스트레이션하여 클라우드 페일오버 기능으로 강력한 엣지 컴퓨팅을 구현하는 방법을 알아보세요. 

곧 만나요!

저희 래블업 임직원들은 GTC 2025에서 여러분을 만나기 위해 만반의 준비를 갖췄습니다. GTC 2025에 참석하시는 분들께서는 저희 부스(#547)에 꼭 들러 AI시장의 새로운 혁신을 꼭 두 눈으로 확인하시기 바랍니다. Backend.AI Continuum, 그리고 Backend.AI for Personal Supercomputer의 라이브 데모 뿐만 아니라 엔비디아 생태계 안에서의 통합 사례 발표, 래블업에 관심이 있으신 고객들과 개인, 파트너들을 위한 프라이빗 미팅도 계획되어 있습니다. 

래블업은 올해 초, 실리콘밸리에 현지 법인을 설립하고 글로벌 확장에 도전하고 있습니다. 이번 GTC 2025를 통해 저희 팀과 소통하며 래블업, 그리고 Backend.AI에 대해 더욱 자세하게 알아가는 계기가 되길 희망합니다.

About GTC 2025

GTC는 NVIDIA가 주최하는 AI 분야 최대 규모의 기술 컨퍼런스입니다. NVIDIA CEO 젠슨 황의 키노트를 비롯해 1000가지 이상의 세션, 300개 이상의 전시, 기술 실습 교육, 다양한 네트워킹 이벤트가 마련되어 있고, 수천 명의 개발자, 혁신가, 비즈니스 리더와 함께 AI와 가속 컴퓨팅이 인류의 복잡한 문제를 해결하는 데 어떻게 기여하는지 살펴볼 수 있는 최고의 기회가 될 것입니다.

GTC 2025 행사 홈페이지 바로가기