backend.ai

The advent of personal computers has fundamentally transformed our lives over the past 40 years. Just to name a few, we witnessed the digitization of life by the internet and the smartphones. Now we're on the cusp of a new era, moving beyond the age of PCs to the age of personalized agents (PAs) or artificial intelligence. At the heart of this transformation is the rapid progress of large language models (LLMs) and multimodal AI. It's no longer about generating smart replies from somewhere in the cloud; with the advent of powerful consumer GPUs, it's now possible to run a personalized generative AI at home.

We'll introduce automated methods for running generative AI models on compact form factors like PCs or home servers, and for personalizing them via fine-tuning. We'll show how PA can be more closely integrated into our daily lives. Furthermore, we'll showcase the results obtained through these methods via a live demo, inviting you to contemplate the future of personalized AI with us.

Large language models (LLMs) are the pinnacle of generative AI. While cloud-based LLMs have enabled mass adoption, local on-premises LLMs are garnering attention in favor of personalization, security, and air-gapped setups. Ranging from personal hobbies to professional domains, both open-source foundational LLMs and fine-tuned models are utilized across diverse fields. We'll introduce the technology and use cases for fine-tuning and running LLMs on a small scale, like PC GPUs, to an expansive scale to serve mass users on data centers. We combine resource-saving and model compression techniques like quantization and QLoRA with vLLM and TensorRT-LLM. Additionally, we illustrate the scaling-up process of such genAI models by the fine-tuning pipeline with concrete and empirical examples. You'll gain a deep understanding of how to achieve the operation and expansion of personalized LLMs, and inspirations for the possibilities that this opens up.

React가 프론트엔드의 표준이 된 오늘날, 파이썬 백엔드는 어떻게 따라가야 할까요? 프론트엔드와의 협업을 위하여 GraphQL 및 Relay 스펙을 지원하는 방법을 알아봅니다.

강정석

래블업 주식회사에서 소프트웨어 엔지니어로 근무하고 있습니다. 파이썬으로 프로그래밍을 입문한 후 애정을 갖고 꾸준히 사용하고 있습니다.

기조강연 : AI와 오픈소스: 혁신, 자본, 기여자의 역학
신정규 래블업 대표
https://eostday.kr

#EOST2023 #ETRI #오픈소스테크데이

파이썬으로 구현된 분산 시스템에서 시간이 오래 걸리는 작업의 추적 및 상태 관리에 대한 어려움과 이를 해결하기 위한 추상적 아이디어들을 제시합니다.
코드 예시가 있기는 하지만 상세한 파이썬 코드 구현은 없고 고수준으로 추상화된 예시만 나오는 가벼운 발표이니 이 점 염두에 두시기 바랍니다.

이상훈
3년차 파이썬 개발자. 좋은 소프트웨어란 무엇인지 고민이 많은 주니어입니다. TMI: 크로스핏과 고기, 빵을 좋아합니다.

디버깅에서 가장 중요한 것은 관찰 가능성과 재현 가능성입니다. asyncio 표준 라이브러리의 꾸준한 개선에도 불구하고, 실제 프로덕션 수준의 복잡한 asyncio 애플리케이션 내부에서 무슨 일이 일어나는지 들여다보는 것은 여전히 어려운 문제입니다. 특히 내가 제어할 수 없는 여러 3rd-party 라이브러리와 프레임워크가 혼용되어 돌아갈 때, 조용하게 삼켜진 cancalleation 신호나 어떤 외부 코드 내부에서 임의로 만들어진 콜백과 코루틴 작업들 때문에 발생하는 리소스 문제는 굉장히 디버깅하기 어렵습니다. 게다가 이런 문제들은 개발 환경보다는 실제 워크로드가 있는 프로덕션 환경에서만 발생하곤 합니다.

이 발표에서는 기존에 공개되어 있던 aiomonitor 라이브러리를 더욱 개선한 aiomonitor-ng 라이브러리를 선보입니다. 기존 라이브러리가 간단한 telnet 서버와 REPL을 기반으로 현재 실행 중인 asyncio 프로세스를 들여다보는 것을 도와주었고 실제 프로덕션 디버깅에서 도움을 받기도 합니다. 하지만 1년 이상 써오면서 부족한 기능들을 절감하게 되었고 직접 task 생성 및 취소·종료 스택 체인을 추적하는 기능을 포함하여 다양한 기능 추가를 직접 진행하게 되었습니다. 사용 편의를 위한 자동완성이 지원되는 터미널 UI도 추가하였죠.

aiomonitor와 이렇게 개선한 aiomonitor-ng를 활용하여 실제로 다수의 프로덕션 이슈들을 발견하고 분석하는 데 활용할 수 있었습니다. 이 경험을 여러분들도 보다 안정적으로 동작하는 asyncio 애플리케이션을 만드는 데 활용할 수 있기를 바랍니다.

김준기
현재 Lablup ("래블업") CTO를 맡아 Backend.AI를 개발하고 있으며, 다양한 규모의 백엔드 시스템에 대한 분석 및 구현 경험을 가지고 있습니다. 오픈소스 활동을 통해 Textcube, iPuTTY, CPython, DPDK, pyzmq, aiodocker, aiohttp 등의 프로젝트에 기여해왔습니다.

해당 발표에선 제가 Lablup에 입사한 후 가장 많은 시간 동안 고민하며 진행했고, 현재도 진행 중인 파이썬 바인딩에 관련된 기술적인 세부사항들을 다룹니다.

보다 구체적으로는 러스트와 파이썬의 메모리 관리 차이를 극복하기 위한 참조 타입 추상화에 관련된 고민들과 트레이트 노출, 예외 처리와 관련된 기술적 세부사항들을 메인 주제로 다룰 예정입니다.

기술적인 세부 사항들을 주제로 다루기 때문에 Rust나 PyO3에 대한 사전 지식을 알고 계시면 발표 내용을 이해하시는데 도움이 되실 수 있으나, 그렇지 않은 경우에도 가능한 발표 내용을 대략적으로 이해하실 수 있도록 준비하였습니다.

이규봉
Lablup 데브옵스 / 개발자. 다양한 오픈소스 활동에 관심을 갖고 있는 개발자입니다. 현재는 회사에서 분산 시스템 관련된 여러 이슈들에 도전해보고, 진행해보고 있습니다. 해당 발표에선 개인적으로 Lablup 입사 후 가장 많은 시간 동안 고민하며 진행했고, 현재도 진행 중인 파이썬 바인딩에 관련된 기술적인 세부사항들을 다룹니다.

Sokovan is a Python-based container orchestrator that addresses the challenges of running resource-intensive batch workloads in a containerized environment. It offers acceleration-aware, multi-tenant, batch-oriented job scheduling and fully integrates multiple hardware acceleration technologies into various system layers. It consists of two layers of schedulers. The cluster-level scheduler allows users to customize job placement strategies and control the density and priority of workloads. The node-level scheduler optimizes per-container performance by automatically detecting and mapping underlying hardware accelerators to individual containers, improving the performance of AI workloads compared to Slurm and other existing tools. Sokovan has been deployed on a large scale in various industries for a range of GPU workloads, including AI training and services. It helps container-based MLOps platforms unleash the potential of the latest hardware technologies.

Speakers:
Jeongkyu Shin
Joongi Kim

자동화와 함께하는 오픈소스.

신정규 - EOST2022

Modernizing development workflow for a 7 year old 74K LoC Python project using Pantsbuild.

Joongi Kim - Pycon Japan 2022

어린이를 위한 파이썬 교육용 서버리스 주피터 노트북 앱 만들기, 신정규 - PyCon Korea 2022

SQLAlchemy with asyncio, From Core to ORM.

이상훈 - PyCon Korea 2022

Pantsbuild를 활용하여 대규모 Python 프로젝트를 모노리포로 이전하기.

김준기 - Pycon Korea 2022

Practical usage of python ecosystem to build the AI model to fight.

Leksikov Sergey - PyCon Korea 2022

“성공적 디지털 전환, 오픈소스 생태계에서 찾는다”를 주제로 오픈소스 활용과 엔터프라이즈 규모의 플랫폼 도입 및 운영에 대한 인사이트를 제시

- 오픈 테크넷 서밋(Open Technet Summit) 2022 버추얼 컨퍼런스

신규 감염병 대응을 위한 인공지능 기술의 활용

• 2013 POSTECH 물리학과 이학박사 비선형통계물리(Characterization of anesthesia-induced consciousness transition in 
  thalamo- cortical circuit)
• 2013-2017 KIST 뇌과학연구소 위촉연구원
• 2017-2021 래블업 주식회사 책임연구원
• 2022-현재 래블업 주식회사 수석연구원 

이 강연은 TED 컨퍼런스 형식을 사용한 TEDx 이벤트에서 진행되었으며, 현지 커뮤니티에 의해 독립적으로 조직되었습니다. 자세한 내용은 https://www.ted.com/tedx 에서 확인하세요.

래블업의 김준기 CTO 가 아래 공동 웨비나에 참여해서 Backend.AI 에 대해 소개하였습니다.

MLOps는 AI 배포를 가속화하는 핵심입니다. 이 세션에서는 세 개의 ISV와 그들의 고객들이 각자의 AI 배포를 가속화하기 위해 MLOps 솔루션을 성공적으로 구현한 방법에 대한 인터뷰를 들을 수 있습니다. 우리는 기업 고객들이 직면하는 가장 일반적인 배포 과제들을 다루고, MLOps 파트너 생태계가 이러한 과제들을 해결하는 데 어떻게 도움을 줄 수 있는지에 초점을 맞출 것입니다.

Run.AI와 Wayve가 자율주행 차량에서 AI/ML의 확장을 선도한 방법에 대해 들을 수 있습니다. 또한 Weights & Biases가 John Deere/Blue River Technology와 협력하여 농업 분야에서 AI 발전을 이룬 방법에 대해서도 들을 수 있습니다. 마지막으로, Backend.AI가 LG전자의 스마트 공장을 더욱 효율적으로 만드는 데 어떻게 지원했는지 들을 수 있습니다.

이 세션은 MLOps 생명주기 전반에 걸친 특정 사용 사례와 모범 사례를 강조할 것입니다. NVIDIA MLOps 파트너들과 그들이 기업 고객들과 어떻게 배포했는지에 대해 알아보세요. 이 세션에서는 놓치고 싶지 않을 실제 솔루션 예시들을 보여줄 것입니다.

기업에서 오픈소스 프로젝트를 직접 만들고 운영하는 입장과 외부 기여자로서 공헌하는 입장에서의 양쪽 경험을 통해 오픈소스 프로젝트의 기여와 운영 과정에서 어떤 점들을 고민하고 신경쓰면 좋을지 이야기합니다.

asyncio 기반의 Core API 및 ORM을 기본 지원하는 SQLAlchemy v1.4 버전 릴리즈 소개와 함께 Backend.AI 프로젝트에서 겪은 SQLAlchemy 관련 엔지니어링 경험을 공유하였습니다. 참고로 PyCon APAC 2021에서도 발표했습니다.

Excel 에 딥러닝 기반의 함수를 Python 으로 만들어 붙여서, 다양한 딥러닝 기반의 분석 및 모델 훈련을 돌려보는 과정을 Excel과 Backend.AI를 연결하여 소개 합니다. 엑셀 함수를 만든 경험과 몇 가지 예제를 통해 딥러닝 모델 훈련 및 훈련된 모델로 추론을 하는 엑셀 함수를 만들 수 있습니다.

퍼블릭 및 프라이빗 클라우드의 발전과 상호보완 관계에 대한 내용을 다루고, 프라이빗 클라우드 상에서의 컨테이너 기반 AI 환경 및 워크로드 파이프라인 구축에 대한 경험을 공유합니다. 또한 다양한 경험을 바탕으로, 더 나은 사용자 환경을 제공하고자 시작된 Python, R 및 리눅스 패키지 저장소 서비스인 Backend.AI Reservoir 프로젝트를 소개합니다.

박사과정, 개발자, 스타트업의 CTO로서 경험한 다양한 이야기를 공유합니다.

개발자 커리어를 쌓기 위해 요구되는 다양한 요소들과, 회사에서 보는 개발자의 강점에 대한 이야기를 나눕니다.

In this session, Lablup Inc. will present three solutions for achieving optimal performance when combining various GPUs as one AI/high performance computing cluster. Their solutions are based on Backend.AI, an open source container-based resource management platform specialized in AI and high performance computing. They'll include real-world examples that provide AI developers and researchers with an optimal scientific computing environment and massive cost savings.

It's commonly believed that hyperparameter tuning requires a large number of GPUs to get quick, optimal results. It's generally true that higher computation power delivers more accurate results quickly, but to what extent? We'll present our work and empirical results on finding a sweet spot to balance both costs and accuracy by exploiting partitioned GPUs with Backend.AI's container-level GPU virtualization. Our benchmark includes distributed MNIST, CIFAR-10 transfer learning, and TGS salt identification cases using AutoML with network morphism and ENAS tuner with NNI running on Backend.AI's NGC-optimized containers. Attendees will get a tangible guide to deploy their GPU infrastructure capacity in a more cost-effective way.