제품
소코반
Sokovan
-
컨테이너 오케스트레이터
- OpenSource1.0 ~ 24.03
- EnterpriseR1 ~ R2
Sokovan은 가속 컴퓨팅에 특화된 오케스트레이터입니다.
Sokovan은 가속화 인식, 멀티 테넌트, 배치 지향 작업 스케줄링을 제공하며 다양한 시스템 레이어에 여러 하드웨어 가속 기술을 완전히 통합하여 잠재력 있는 성능을 발휘합니다.
Sokovan은 클러스터 수준 노드 할당 스케줄러와 노드 수준 리소스/장치 할당 스케줄러 두 가지 수준의 스케줄링을 제공합니다. 클러스터 수준 스케줄러는 사용자가 작업 배치 전략을 사용자 정의하고 워크로드의 밀도와 우선 순위를 제어할 수 있도록 합니다. 노드 수준 스케줄러는 각 컨테이너에 하드웨어 가속기를 자동으로 감지하고 활성화하여 컨테이너 당 성능을 최적화합니다.
이는 Slurm 및 기존 도구와 비교하여 AI 워크로드의 성능을 향상시키는 데 도움이 됩니다. Sokovan은 또한 AI 훈련 및 서비스를 포함한 다양한 GPU 워크로드에 대해 다양한 산업에서 대규모로 배포되었습니다. 그 설계와 기능은 컨테이너 기반 MLOps 플랫폼이 최신 하드웨어 기술을 더욱 효과적으로 활용할 수 있도록 도와줍니다.
일반적인 쿠버네티스 팟 기반 GPU 자원 할당
- Pod 수준에서 GPU 및 다른 컴퓨팅 리소스를 매핑합니다.
- 미리 Pod를 생성하고 Job을 Pod에 할당합니다.
- 기존 Pod에서 자원을 할당하기 어려워 일부 작업이 대기 중일 수 있습니다.
Sokovan / Backend.AI를 사용한 동적 GPU 할당
- 더 높은 GPU 활용도를 가진 모든 작업을 수용합니다. (위와 대조적)
- 분할 GPU 스케일링을 통해 더 세분화된 리소스 분배가 가능합니다.
- 작업 스케줄링 결정 시 세션을 동적으로 생성하고 삭제합니다.
- 세션이 생성되고 삭제되는 즉시 리소스를 할당하고 회수합니다.
