<aside> 📢

해당 페이지에 기재된 과제내용은 VESSL AI의 소중한 자산입니다. 해당 내용이 외부로 유출 및 공유 되지 않도록 각별히 주의 부탁드립니다.

</aside>

Overview

당신은 VESSL AI의 Product Manager로서, 최근 고객들이 특정 시나리오에서 Workload cold start 문제로 인해 중요한 작업이 지연되고 있다는 피드백을 받았습니다. 이 문제를 해결하여 VESSL의 서비스 품질을 향상시키기 위한 프로젝트를 기획하고, 이를 요약한 One-pager 제안서를 작성해주세요.

Background

Workload cold start 란?

VESSL 프로덕트에서 AI 작업은 컨테이너 환경에서 동작합니다. 이미 클러스터에 할당된 노드와 컨테이너가 준비되어 있다면 Workload를 바로 실행할 수 있지만, 그렇지 않은 경우에는 클러스터에 새로운 노드를 할당하고 컨테이너를 만들어야 합니다. 후자의 경우를 cold start라고 하며, 노드의 할당 및 새로운 컨테이너 초기화 단계에서 실제 작업시간 이전에 지연이 발생하게됩니다.

문제 정의

VESSL의 플랫폼은 고객들이 다양한 머신러닝 모델을 훈련하고 배포할 수 있도록 설계되었습니다. 그러나 최근 대규모 GPU 클러스터에서 작업을 시작할 때 cold start로 인해 실행이 지연되는 문제가 발생하고 있습니다. 특히, 새로운 클러스터에서 워크로드를 실행할 때 준비 시간이 20분을 초과하는 경우가 있어, 고객들이 중요한 프로젝트 마감일을 맞추지 못하거나 리소스를 낭비하는 상황이 자주 발생합니다.

이러한 불안정성은 고객들의 VESSL 사용에 대한 우려를 초래하고 있으며, 이는 유저 경험에 부정적인 영향을 미치고 있습니다. 경쟁사(Modal, Replicate)에서는 이미 cold start 문제를 최적화하기 위한 다양한 기술을 도입하고 있으며, VESSL도 해당 문제를 신속하게 해결하여 고객 신뢰를 회복하고, 서비스의 경쟁력을 강화해야합니다.

Team

• 2 Backend Engineer
• 1 Frontend Engineer
• 1 Product Manager (you)

Task

VESSL의 Senior Product Manager에게 아래의 내용을 포함하여 Workload cold start 문제를 해결할 수 있는 프로젝트를 제안해주세요:

• Objectives :
  • 이 기능이 궁극적으로 해결하고자 하는 문제는 무엇이며, 이 목표를 달성함으로써 고객에게 어떤 가치를 제공할 수 있을까요?
  • 이 기능이 회사의 장기적인 전략에 어떻게 기여할 수 있을까요?
• Success metrics :
  • 이 프로젝트의 성공을 어떻게 측정할 수 있을까요?
• Timeline :
  • 프로젝트 각 단계의 예상 일정은 어떻게 될 것이고, 각 단계를 완료하기 위해 필요한 전제 조건은 무엇인가요?
• Risks :
  • 이 프로젝트에서 예상되는 주요 리스크는 무엇이고, 이러한 리스크를 완화하기 위해 어떤 조치를 취할 수 있을까요?