backend.ai

생성 AI의 보급과 함께, 막대한 개발 및 도입 비용이 AI 대중화의 큰 걸림돌이 되고 있습니다. 딥 러닝 기반 솔루션을 사용하거나 개발할 때의 비용의 문턱을 어떻게 낮추고, 효율과 편의성을 어떻게 높일 수 있을까요? 거인의 어깨 위에 서서 모든 복잡도를 가려버리면서도 엄청난 성능과 효율을 달성하기 위한 래블업과 Backend.AI 의 접근법인 Slipstreaming 에 대해 소개합니다.

발표자 소개

- CEO, Lablup

- ML/DL Google Developers Expert

- POSTECH 물리학박사 (복잡계물리학 /계산뇌과학전공)

연구자를 위한 재현가능한 계산 환경을 제공하자는 아이디어에서 출발하여 대규모 엔터프라이즈를 위한 AI 개발 및 서비스 플랫폼으로 진화한 Backend.AI의 설계 철학과 발전 과정을 돌아봅니다. 업계의 다른 유사 제품들과 왜 다른 선택을 하였는지, 그리고 그러한 선택이 래블업의 비즈니스와 고객들에게 어떤 가치를 제공해왔는지 살펴봅니다.

발표자 소개

- CTO, Lablup

- Ph.D., KAIST 전산학과 (고성능 네트워크 시스템)

- Python 및 오픈소스 생태계 기여 (CPython, aiomonitor, aiohttp, aiodocker, pyzmq, DPDK, iPuTTY 등)

Backend.AI의 엔터프라이즈 고객 지원 서비스는 단순히 제품을 설치하고 끝나는 것이 아닌, 고객과의 지속적인 파트너십을 의미합니다. 설치 일정의 수립에서부터 세일즈 및 데브옵스 팀과의 긴밀한 협업을 통해 맞춤형 설치 및 서비스 최적화를 제공합니다. 설치 완료 후에는 사용자 가이드 세션을 시작으로, 고객의 피드백과 요구 사항에 대응하는 지원을 지속적으로 제공합니다. 이 발표를 통해 Backend.AI 엔터프라이즈 고객과의 상호작용이 어떤 식으로 이루어지는 소개합니다.

발표자 소개

- Director of Research, Lablup

- Ph.D., 포스텍물리학과(단분자 생명물리)

기존 WebUI 에서의 주요 문제점과 사용자 경험 개선이 필요한 부분에 대해서 분석합니다. 문제점이 왜 해결되어야 하는지, 변화의 필요성과 이를 개선하기 위한 방법, 변화된 UI/UX를 소개합니다. 특히 세션 런처 UI/UX가 어떻게 변화 했는지 주로 다룰 예정입니다. 마지막으로 앞으로의 WebUI가 어떤 방향으로 변화할 것인지 예측합니다.

발표자 소개

- Software Engineer, Lablup

Backend.AI 의 강력한 거대 AI 모델 개발 기술이 GenAI 와 만나 최고의 AI 서비스 기능으로 새로 태어나고 있습니다. 이 세션에서는 Backend.AI 23.09에서 소개되는 모델 서빙 기능이 GenAI 의 운영 분야로 어떻게 확장되었는지에 대해 기술, 편의성 및 운명 리소스 절약의 측면에서 소개합니다. GPU 리소스의 효율적인 운영과 GenAI 서비스 및 파인튜닝의 자동화와 결합되어 만들어내는 다양한 혁신에서 영감을 얻을 수 있는 세션이 될 것입니다.

발표자 소개

-Software Engineer, Lablup

래블업은 기획자 포지션이 따로 없습니다. 그럼에도 불구하고 Backend.AI 를 비롯한 많은 제품들과 신기능들을 선보이고 있습니다. 이렇게 되기까지 많은 시행착오를 거쳐온 과정, 그중에서도 개발자들이 익숙한 플랫폼인 GitHub 를 사용하게 된 과정을 나눕니다. 특히 우리가 GitHub Project를 쓸 수 밖에 없는 배경, 대부분의 개발 인프라가 오픈소스로 되어 있는 이야기를 시작으로 Jira 를 도입하려고 했던 시기와 중단하게 된 이유, 그 기저에 있는 회사 인원의 확장 이슈도 함께 다룹니다. 또한 가장 중요한 GitHub 프로젝트를 사용하는 방식, 그리고 단점과 이를 해결하기위해 유용하게 사용중인 GitHub Action과 Label도 소개합니다.

발표자 소개

- Software Engineer, Lablup

래블업은 기획자 포지션이 따로 없습니다. 그럼에도 불구하고 Backend.AI 를 비롯한 많은 제품들과 신기능들을 선보이고 있습니다. 이렇게 되기까지 많은 시행착오를 거쳐온 과정, 그중에서도 개발자들이 익숙한 플랫폼인 GitHub 를 사용하게 된 과정을 나눕니다. 특히 우리가 GitHub Project를 쓸 수 밖에 없는 배경, 대부분의 개발 인프라가 오픈소스로 되어 있는 이야기를 시작으로 Jira 를 도입하려고 했던 시기와 중단하게 된 이유, 그 기저에 있는 회사 인원의 확장 이슈도 함께 다룹니다. 또한 가장 중요한 GitHub 프로젝트를 사용하는 방식, 그리고 단점과 이를 해결하기위해 유용하게 사용중인 GitHub Action과 Label도 소개합니다.

발표자 소개

- Software Engineer, Lablup

- GitHub Campus Expert

1. WASM, WebGPU 의 대두
2. Edge device의 성능 변천사 - A100을 이긴 Apple M2 ultra
3. sLLM에 의한 Agent 구성
4. 생성 AI 시대에서의 Federated Inference
5. private 생성 AI 의 활용 사례 - LLM + Diffusion

발표자 소개

반갑습니다. Sionic AI의 대표이자 이전에는 네이버와 토스에서 주요 AI 프로젝트를 리딩한 경험을 가지고 있습니다. 네이버에서는 클로바와 네이버 클라우드의 AI 제품 개발을 주도했고, 수만 개 이상의 딥러닝 모델을 오케스트레이션 하는 시스템을 개발했습니다. 토스에서는 메인 검색 서비스의 시멘틱 검색과 브랜드 추천 시스템을 새롭게 구축하였습니다.

현재 Sionic AI에서는 엔터프라이즈 급 커스텀 LLM 서비스를 제공하며, LLM Agent에 특화된 SaaS 제품을 개발하고 있습니다. 

기술과 비즈니스 경험을 바탕으로 새로운 생성 AI 시장에 도전하고 있습니다.

본 발표는 "음성 뉴비의 Whisper Fine-tuning 해보기"라는 주제로 처음 음성데이터를 만지는 팀이 OpenAI에서 제공한 Whisper, 모델을 활용하여 Speech-to-Text 기능을 파인 튜닝했던 고된 과정을 소개하려고 합니다.
LLM의 시대에 Whisper 모델과 LLM이 합쳐서 해양 통신과 같은 새로운 영역을 어떻게 변화 시킬 수 있는지 또한 목적에 맞게 Whisper 모델을 fine-turning 할 수 있는지에 대해서 Backend.AI를 활용한 학습 방법에 대해서도 공유합니다.

발표자 소개

현재 부경대학교에서 시스템 경영공학부 교수로 재직 중이며, 주로 NLP 분야의 AI 연구를 수행하였습니다. 교수면서도 최근 ChatGPT를 위시한 LLM을 기술의 변화로 세상이 변화하고 있다고 믿고 무모하게 무역 영역의 AI 회사인 "팀리부뜨"를 창업한 창업가이기도 합니다. 회사를 하다 보니 NLP가 아닌 음성 분야도 해야 해서 (연구원이) 눈물을 흘리며 도전 중입니다.

생성형 AI로 촉발된 AI 시대의 배경 이해와 활용 방법을 살펴봅니다. 이 세션을 통해 실제 고객들이 어떤 식으로 LLM을 활용하는지 생성형 AI로 비즈니스 니즈를 충족시키기 위하여 프롬프트엔지니어링을 하는 방법, 적적한 LLM 모델을 선택하는 방법, RAG 아키텍처와 Fine-tuning에 대한 비교, 실시간 API를 LLM에 통합하는 방법, 변화된 UX에 맞게 디자인된 지능적인 애플리케이션 구축, 복잡한 애플리케이션을 LLMOps로 구축하는 방법을 배울 수 있습니다.

발표자 소개

김현수 전문 기술 전략 매니저는 IoT, Back-end, Front-end, Automation, Data Analytics, AI/ML, Cloud 와 같은 다양한 분야에서 개발 경험을 쌓았으며 다양한 산업군의 고객과 협업하면서 고객의 요구사항에 맞는 솔루션을 빌드해왔습니다. 현재 한국 Microsoft에서 디지털 네이티브 고객들을 위한 전문 기술 전략가로서 생성형 AI 기술을 이용하여 고객의 비즈니스 니즈를 풀어 나가는 것을 돕고 있습니다. 상세 정보: http://www.studydev.com/me/

Azure OpenAI를 활용한 한국 고객들의 사용 사례 모음:

https://www.youtube.com/playlist?list=PLGh_JNxzXsX9NSm-iyAdS4Ioco0vp4jtq

Auzre OpenAI를 활용할 수 있는 실습: https://github.com/HyounsooKim/azure-openai-samples-kr

오늘코드 유튜브 채널을 운영하기 시작하면서 다양한 곳에서 콘텐츠 제작이나 강의 의뢰를 받고 다양한 곳에서 다양한 분들에게 강의를 진행한지도 여러 해가 되었습니다. 학생, 취업준비생, 직무에서 데이터를 활용하고자 하는 분, 직무 전환을 희망하는 분들을 대상으로 교육을 진행해 왔습니다. 비전공자라서, 나이가 많아서, 당장 생업을 위한 일을 해야해서 갈등에 시달리며 개발이나 데이터 분야로 직무를 희망하며 고군분투하는 분들과 만나왔던 이야기를 하고자 합니다.

발표자 소개

• 오늘코드 유튜브 채널 운영자
• Microsoft MVP (Python Developer Technologies)
• 패스트캠퍼스 커널360 디렉터
• 인프런 지식공유자
• 네이버 커넥트부스트코스데이터사이언스 제작 및 코칭스터디 라이브코치
• 서울대 빅데이터 혁신공유대학, 연세대, 한신대, 기상청, 통계청, 서울디지털재단 등 강의 및 콘텐츠 제작
• 모두의 한국어 텍스트 분석 with 파이썬 저자

Discover the magic behind VisuTale AI, where images become the seeds of stories and art. We'll delve into the intricacies of each AI model, from interpreting images to crafting stories and generating related digital art. This session promises a deep dive into the models and engines that power VisuTale, offering a blueprint for those looking to harness the potential of generative AI on Backend.AI.

발표자 소개

• Researcher, Lablup
• ESG Data Scientist, Who's Good
• MS, KAIST Graduate School of Data Science

많은 양의 데이터를 통해 AI를 훈련하거나 AI 모델을 빠르게 배포하기 위해 고속 스토리지들을 많이 쓰고 있습니다. Backend.AI는 많은 고속 스토리지를 지원해드리고 있는데, 제가 참여한 Vast data storage를 통합하는 작업이 어떻게 진행되었는지 공유하겠습니다.

발표자 소개

- Software Engineer, Lablup

Backend.AI의 가속기 플러그인 구조와 현재까지 개발된 가속기 플러그인들(Mock, CUDA, CUDA Enterprise, ROCm, TPU, IPU, ATOM, Warboy), 현재 추가로 개발중인 가속기 플러그인들(SAPEON, HyperAccel)을 살펴보고, AI 반도체 쪽에서는 어떤 준비가 필요한지 논의합니다.

발표자 소개

- Software Engineer, Lablup

Beyond AI (신정규)

내용

• 딥 러닝 분야의 지난 2년간의 변화와, 앞으로의 2년간 있을 변화에 대해 개발자, 연구자, 플랫폼 회사 대표 입장에서의 시각을 많은 분들과 나눠봅니다.

발표자 소개

• CEO, Lablup
• ML/DL Google Developers Expert
• POSTECH 물리학박사 (복잡계물리학 /계산뇌과학전공)

로우 레벨 리눅스는 처음이라: 파이썬 개발자의 심연 탐방기(조규진)  

Backend.AI는 CUDA GPU, Graphcore IPU 등의 가속기 인터페이스는 물론 GPUDirect Storage 등의 최신 기술 또한 지원하고 있습니다. 이번 세션에서는 이러한 기능을 통합하기 위해 리눅스의 시스템 콜과 네트워킹 레이어에서 그 동안 퍼 왔던 삽질에 대해 공유합니다.

비동기가 없는 것처럼 작성하는 리액트 컴포넌트(이종은)

비동기가 없는 프론트엔드 개발을 상상해 보셨나요? 리액트 컴포넌트를 비동기가 없는 것처럼 작성한다는 것이 무엇인지 예제를 통해 살펴보면서 왜 이러한 사고방식이 복잡했던 개발자의 머릿속을 정리해 주는지 이야기해 봅니다.

FastAPI 고군분투기 - Forklift(권강민)

요즘 떠오르는 핫한 Python Web Framework FastAPI를 사용하여 사내 프로젝트를 진행한 경험을 공유합니다. 주니어 개발자의 시선으로 아직도 현재진행형인 FastAPI 프로젝트의 고군분투기를 소개합니다.

머신러닝을 씁니다 - mostly write, little use(박해선)

내용
- 책을 쓰면서 머신러닝을 배우고 탐험하는 이야기를 소개합니다.

발표자 소개
- IT 작가, 번역가
- GCP 챔피온 이노베이터
- 전 ML GDE
- '혼자 공부하는 머신러닝+딥러닝', 'Do It! 딥러닝 입문'을 집필했고, '핸즈온 머신러닝 2판', '케라스 창시자에게 배우는 딥러닝 2판'을 비롯해 여러 권의 머신러닝 책을 우리말로 옮겼습니다.

오픈소스 세계로 전생: PR 하나 날렸을 뿐인데(강시온, 이상훈)

내용
- 강시온 : 진입장벽이 높은 오픈소스 생태계에 입문하게 된 초보 개발자의 팁들을 공유하고자 합니다. 
- 이상훈 : 오픈소스 컨트리뷰션 아카데미에 멘티와 멘토로 참여해 본 경험과 여러 오픈소스에 관심이 있는 주니어 개발자의 경험을 공유합니다.

발표자 소개
- (강시온) Lablup 인턴
- (이상훈) Backend developer, Lablup

비동기 작업의 가시성 향상을 통한 프로덕션 이슈 디버그하기(김준기)

내용
- Python asynci를 통해 복잡한 비동기 앱을 개발하다 보면 갑자기 특정 task가 너무 많이 생겨나거나 계속 실행되고 있어야 할 task가 조용히 죽는 등의 문제가 발생합니다. 이런 문제는 서로 stack이 분리되어 있는 여러 task들의 상호작용 속에서 발생하는 오류이기 때문에 사후로그나 일반적인 traceback만으로는 디버깅하기가 매우 어렵습니다. task 생성과정 및 종료 과정을 다단계로 모니터링할 수 있는 aiomonitor-ng 라이브러리를 개발한 과정과 이를 통해 버그를 잡아낸 사례를 공유합니다.

발표자 소개
- CTO, Lablup 
- Backend.AI Lead Developer
- CPython및aio-libs 컨트리뷰터
- KAIST 전산학박사 (네트워크시스템전공)

NVIDIA Omniverse for Generating Virtual Worlds (Dr. Pallavi Mohan)

NVIDIA Omniverse is an extensible platform for virtual collaboration and real-time, physically accurate simulation. Creators, designers, researchers, and engineers can connect tools, assets, and projects to collaborate in a shared virtual space. Creating digital twins in Omniverse allows you to create physically accurate virtual replicas of unique objects, processes, and environments, all constantly in sync with real-world data inputs and powered by AI. It can also a powerful tool for content generation and synthetic data generation. With Omniverse Replicator, an advanced and extensible SDK within the ecosystem, researchers, developers, and enterprises can generate physically accurate 3D synthetic data, and easily build custom synthetic data generation (SDG) tools to accelerate the training and accuracy of perception networks. Tune in to this talk to know more about the Omniverse ecosystem, and the possibilities of generating your own virtual worlds.

발표자 소개
- Solution Architect, NVIDIA AI Tech Center

2015년 AI를 쉽게 활용할 수 있게 만들자는 생각으로 창업한 래블업(Lablup)이 ​모든 머신러닝·딥러닝 기술을 다루는 절차를 간소화 한다는 목표를 이뤄가는 그 첫 번째 이야기를 들려드립니다.​

• 컨트리뷰션 아카데미 소개, 활동 현황, 후기
• 이슈 관리 기법 - Backend.AI의 agent, manager, storage-proxy 등의 issue를 한 repo에 모아서 관리하기
• Github action - towncrier, travis CI, branch 관리
• Backend.AI의 문서를 바탕으로 파악한 소스 코드 구조

• 국민대학교 경영대학원 AI빅데이터전공 소개
• AI빅데이터전공 커리큘럼과 교과목 
• AI빅데이터 교육을 위한 인프라의 필요성과 현황
• Backend.AI를 활용한 실무 중심의 교과목 운영 사례

•  Pix2Pix generative image-to-image DL model to simulate physics processes
• Prediction of respiratory droplet spread using machine learning

• Backend.AI 스토리지 프록시: 데이터/모델 입출력 파이프라인 가속화
• 스토리지 솔루션 통합: PureStorage / NetApp
• 사례: NetApp 통합 구축

Application of machine learning to classify disease phenotypes

Backend.AI 를 사용하여 대표적인 레거시 제조업인 조선소에 어떻게 AI 파이프라인을 구동하였는지를 공유드립니다.

교육부터 하이퍼스케일 AI 모델 개발까지, GPU Cluster 구축과 운영을 준비하실 때 미리 고려하실 사항들을 사례와 함께 공유드립니다.

• Recap of Backend.AI history
• Future roadmap of Backend.AI for next 2 years