ML 개발 단계

ML 프로젝트는 구체적인 목표, 작업, 결과가 있는 단계별로 진행됩니다. ML 개발 단계를 명확하게 이해하면 엔지니어링 책임을 설정하고, 이해관계자 기대치를 관리하고, 리소스를 효율적으로 할당하는 데 도움이 됩니다.

단계를 성공적으로 진행하는 것은 장기적으로 비즈니스 문제를 해결하는 ML 모델을 설계, 조립, 빌드하는 데 기본이 됩니다.

개략적으로 ML 솔루션 구현은 다음 단계로 구성됩니다.

1. 아이디어 구상 및 계획
2. 실험
3. 파이프라인 빌드
4. 생산화

아이디어 구상 및 계획

아이디어 구상 및 계획 단계에서는 ML 솔루션의 관점에서 문제를 구성하고 프로젝트의 타당성을 추정합니다.

• 목표: ML이 문제에 가장 적합한 솔루션인지 확인합니다.
• 작업: 비즈니스 문제를 분석하여 프로젝트의 제약 조건을 파악합니다.
• 결과: ML 솔루션으로 문제를 해결하는 방법을 설명하는 설계 문서입니다.

중요: 아이디어 구상 및 계획 단계에서 프로덕션 준비가 완료된 시스템에 필요한 데이터와 측정항목을 파악하는 데 시간이 오래 걸릴 수 있습니다.

실험

실험은 머신러닝의 핵심입니다. 이 단계에서는 ML 솔루션이 실행 가능한지 확인합니다. 해결책을 찾는 것은 반복적인 프로세스입니다. 문제를 해결하는 올바른 특성, 초매개변수, 모델 아키텍처 조합을 찾기 전에 수백 번의 실험을 시도하는 것은 드문 일이 아닙니다.

• 목표: 비즈니스 문제를 해결하는 모델을 빌드합니다.
• 작업: 특징, 초매개변수, 모델 아키텍처를 실험합니다.
• 결과: 프로덕션에 적용할 수 있을 만큼 품질이 좋은 모델

중요: 실험 단계에서 ML을 처음 접하는 실무자는 적절한 실험 도구와 프로세스를 설계하고 구현하는 데 따르는 어려움을 과소평가하는 경우가 많습니다.

파이프라인 빌드 및 프로덕션화

파이프라인 빌드 및 프로덕션화 단계에서는 데이터를 처리하고, 모델을 학습시키고, 예측을 제공하는 파이프라인을 빌드합니다. 그런 다음 필요한 모니터링 및 로깅 인프라를 사용하여 모델과 파이프라인을 프로덕션에 배포합니다.

• 목표: 프로덕션에서 모델을 확장, 모니터링, 유지관리하기 위한 인프라를 구축하고 구현합니다.
• 작업: 프로덕션에서 최신 모델을 유지하기 위한 여러 작업을 자동화하는 파이프라인을 빌드합니다.
• 결과: 검증된 ML 파이프라인

중요: 프로덕션 단계에서는 특히 기능이 발전함에 따라 데이터 파이프라인을 프로덕션화하고 모델을 평가하는 복잡성을 과소평가하기 쉽습니다. 예를 들어 ML이 아닌 프로젝트에 필요한 모든 모니터링 인프라뿐만 아니라 모든 ML 관련 모니터링도 구현해야 합니다.

엔드 투 엔드 ML 워크플로

다음 다이어그램은 전체 엔드 투 엔드 ML 워크플로를 보여주며 각 단계와 태스크, 결과를 나열합니다.

그림 1. ML 워크플로의 네 가지 주요 단계

주의사항

각 단계에는 여러 가지 문제가 있습니다. 이를 인식하고 계획하지 않으면 기한을 놓치고, 엔지니어가 좌절하고, 프로젝트가 실패할 수 있습니다.

이해도 확인

제품에 도움이 될 수 있는 ML 기술을 읽었습니다. 앞으로 어떤 조치를 취해야 하나요?

설계 문서를 작성하거나 코드를 작성하기 전에 먼저 ML이 문제에 적합한 솔루션인지 확인해야 합니다.

정답입니다. 설계 문서를 작성하거나 코드를 작성하는 데 시간을 들이기 전에 먼저 ML이 문제에 적합한 솔루션인지 확인해야 합니다.

ML 사용 사례와 이를 구현하는 데 필요한 인프라를 간략하게 설명하는 설계 문서를 작성합니다.

설계 문서를 작성하기 전에 먼저 ML이 문제에 적합한 솔루션인지 확인해야 합니다.

코드 예시를 찾아 실험을 시작하여 모델이 좋은 예측을 할 수 있는지 확인합니다.

코드를 작성하기 전에 먼저 ML이 문제에 적합한 솔루션인지 확인해야 합니다.

핵심 용어:

기능	hyperparameter
model	파이프라인
예측