아이디어 구상 및 계획 단계에서는 ML 솔루션의 요소를 조사합니다. 문제 프레이밍 작업 중에 ML 솔루션의 관점에서 문제를 프레이밍합니다. 머신러닝 문제 프레이밍 소개 과정에서 이러한 단계를 자세히 다룹니다. 계획 작업 중에 솔루션의 타당성을 추정하고, 접근 방식을 계획하고, 성공 측정항목을 설정합니다.
ML이 이론적으로는 좋은 솔루션일 수 있지만 실제 적용 가능성을 추정해야 합니다. 예를 들어 솔루션이 기술적으로는 작동하지만 구현하기가 비실용적이거나 불가능할 수 있습니다. 프로젝트의 타당성에 영향을 미치는 요인은 다음과 같습니다.
- 데이터 사용 가능 여부
- 문제 난이도
- 예측 품질
- 기술 요구사항
- 비용
데이터 사용 가능 여부
ML 모델의 성능은 학습에 사용되는 데이터의 품질에 따라 달라집니다. 고품질 예측을 수행하려면 많은 양의 고품질 데이터가 필요합니다. 다음 질문에 답하면 모델을 학습시키는 데 필요한 데이터가 있는지 판단하는 데 도움이 됩니다.
수량 모델을 학습시킬 수 있을 만큼 고품질 데이터를 확보할 수 있나요? 라벨이 지정된 예가 부족하거나, 얻기 어렵거나, 너무 비싼가요? 예를 들어 라벨이 지정된 의료 이미지나 희귀 언어의 번역을 얻는 것은 매우 어렵습니다. 정확한 예측을 하려면 분류 모델에 각 라벨에 대한 수많은 예시가 필요합니다. 학습 데이터 세트에 일부 라벨의 예가 제한적으로 포함되어 있으면 모델이 정확한 예측을 할 수 없습니다.
서빙 시 기능 사용 가능 여부 학습에 사용된 모든 기능을 제공 시에 사용할 수 있나요? 팀은 모델을 학습하는 데 상당한 시간을 할애했지만 모델에 필요한 일부 기능이 모델에 필요한 시점으로부터 며칠이 지나서야 제공된다는 사실을 알게 되었습니다.
예를 들어 모델이 고객이 URL을 클릭할지 예측하고 학습에 사용된 기능 중 하나에
user_age이 포함된다고 가정해 보겠습니다. 하지만 모델이 예측을 제공할 때는 사용자가 아직 계정을 만들지 않았을 수 있으므로user_age를 사용할 수 없습니다.규정. 데이터를 획득하고 사용하는 데 적용되는 규정 및 법적 요구사항은 무엇인가요? 예를 들어 일부 요구사항에서는 특정 유형의 데이터를 저장하고 사용하는 데 제한을 설정합니다.
생성형 AI
사전 학습된 생성형 AI 모델은 도메인별 작업을 잘 수행하기 위해 선별된 데이터 세트가 필요한 경우가 많습니다. 다음 사용 사례에는 데이터 세트가 필요할 수 있습니다.
-
프롬프트 엔지니어링,
파라미터 효율적인 튜닝,
파인 튜닝
사용 사례에 따라 모델의 출력을 추가로 개선하려면 10~10,000개의 고품질 예가 필요할 수 있습니다. 예를 들어 의료 질문에 답변하는 것과 같은 특정 작업을 잘 수행하도록 모델을 미세 조정해야 하는 경우, 모델이 받게 될 질문의 종류와 모델이 대답해야 하는 답변의 종류를 대표하는 고품질 데이터 세트가 필요합니다.
다음 표에서는 특정 기법에 대해 생성형 AI 모델의 출력을 개선하는 데 필요한 예시 수를 추정하여 보여줍니다.
-
최신 정보 사전 학습된 생성형 AI 모델은 고정된 기술 자료를 갖습니다. 모델 도메인의 콘텐츠가 자주 변경되는 경우 모델을 최신 상태로 유지하기 위한 전략이 필요합니다. 예를 들면 다음과 같습니다.
- 미세 조정
- 검색 증강 생성 (RAG)
- 주기적 사전 학습
| 기법 | 필수 예시 수 |
|---|---|
| 제로샷 프롬프팅 | 0 |
| 퓨샷 프롬프팅 | 약 10초~100초 |
| 파라미터 효율적인 튜닝 1 | ~100~10,000 |
| 세부 조정 | ~1,000~10,000개 (또는 그 이상) |
문제 난이도
문제의 난이도를 추정하기 어려울 수 있습니다. 처음에는 타당해 보이는 접근 방식이 실제로 열린 연구 질문으로 밝혀질 수 있습니다. 실용적이고 실행 가능해 보이는 것이 비현실적이거나 실행 불가능한 것으로 밝혀질 수도 있습니다. 다음 질문에 답하면 문제의 난이도를 파악하는 데 도움이 됩니다.
유사한 문제가 이미 해결되었나요? 예를 들어 조직의 팀에서 모델을 빌드하는 데 유사한 (또는 동일한) 데이터를 사용했나요? 조직 외부의 사람이나 팀이 Kaggle 또는 TensorFlow Hub에서 유사한 문제를 해결한 적이 있나요? 이 경우 해당 모델의 일부를 사용하여 내 모델을 빌드할 수 있습니다.
문제의 성격이 어려운가요? 작업의 인간 기준을 알면 문제의 난이도를 파악할 수 있습니다. 예를 들면 다음과 같습니다.
- 사람은 이미지에 있는 동물 유형을 약 95% 의 정확도로 분류할 수 있습니다.
- 사람은 필기 숫자를 약 99% 의 정확도로 분류할 수 있습니다.
위의 데이터는 동물을 분류하는 모델을 만드는 것이 손으로 쓴 숫자를 분류하는 모델을 만드는 것보다 더 어렵다는 것을 보여줍니다.
악의적인 행위자가 있을 수 있나요? 사람들이 모델을 적극적으로 악용하려고 시도할까요? 이 경우 모델이 오용되기 전에 모델을 업데이트하기 위해 끊임없이 경쟁해야 합니다. 예를 들어 누군가 모델을 악용하여 합법적인 것처럼 보이는 이메일을 만들면 스팸 필터가 새로운 유형의 스팸을 포착할 수 없습니다.
생성형 AI
생성형 AI 모델에는 문제의 난이도를 높일 수 있는 잠재적 취약점이 있습니다.
- 입력 소스 입력은 어디에서 가져오나요? 적대적 프롬프트로 학습 데이터, 서문 자료, 데이터베이스 콘텐츠 또는 도구 정보가 유출될 수 있나요?
- 출력 사용: 출력은 어떻게 사용되나요? 모델이 원시 콘텐츠를 출력하나요? 아니면 적절한지 테스트하고 확인하는 중간 단계가 있나요? 예를 들어 플러그인에 원시 출력을 제공하면 여러 보안 문제가 발생할 수 있습니다.
- 세부 조정 손상된 데이터 세트로 미세 조정하면 모델의 가중치에 부정적인 영향을 미칠 수 있습니다. 이러한 손상으로 인해 모델이 부정확하거나, 유해하거나, 편향된 콘텐츠를 출력할 수 있습니다. 앞서 언급한 바와 같이 미세 조정에는 고품질 예시가 포함된 것으로 확인된 데이터 세트가 필요합니다.
예측 품질
모델의 예측이 사용자에게 미치는 영향을 신중하게 고려하고 모델에 필요한 예측 품질을 결정해야 합니다.
필요한 예측 품질은 예측 유형에 따라 다릅니다. 예를 들어 추천 시스템에 필요한 예측 품질은 정책 위반을 신고하는 모델의 경우와 다릅니다. 잘못된 동영상을 추천하면 사용자 환경이 저하될 수 있습니다. 하지만 플랫폼 정책을 위반하는 동영상으로 잘못 신고하면 지원 비용이 발생하거나 심한 경우 법적 수수료가 발생할 수 있습니다.
잘못된 예측으로 인해 비용이 매우 많이 들기 때문에 모델의 예측 품질이 매우 높아야 하나요? 일반적으로 필요한 예측 품질이 높을수록 문제가 더 어려워집니다. 안타깝게도 품질을 개선하려고 하면 프로젝트의 수익이 감소하는 경우가 많습니다. 예를 들어 모델의 정밀도를 99.9% 에서 99.99% 로 높이면 프로젝트 비용이 10배 이상 증가할 수 있습니다.
그림 2. 일반적으로 ML 프로젝트에는 필요한 예측 품질이 높아질수록 더 많은 리소스가 필요합니다.
생성형 AI
생성형 AI 출력을 분석할 때는 다음 사항을 고려하세요.
-
사실 정확성 생성형 AI 모델은 유창하고 일관된 콘텐츠를 생성할 수 있지만 사실을 보장하지는 않습니다. 생성형 AI 모델의 잘못된 진술을 혼동이라고 합니다.
예를 들어 생성형 AI 모델은 기억을 혼동하여 텍스트를 잘못 요약하거나, 수학 문제에 잘못된 답을 하거나, 세상에 관한 거짓 진술을 생성할 수 있습니다. 많은 사용 사례에서는 프로덕션 환경에서 사용하기 전에 생성형 AI 출력(예: LLM 생성 코드)에 대한 사람의 확인이 필요합니다.
기존 ML과 마찬가지로 사실 정확도 요구사항이 높을수록 개발 및 유지관리 비용이 높아집니다.
- 출력 품질. 편향되거나, 표절되거나, 유해한 콘텐츠와 같은 잘못된 결과의 법적 및 재정적 결과(또는 윤리적 영향)는 무엇인가요?
기술 요구사항
모델에는 실현 가능성에 영향을 미치는 여러 기술 요구사항이 있습니다. 다음은 프로젝트의 타당성을 확인하기 위해 해결해야 하는 주요 기술 요구사항입니다.
- 지연 시간. 지연 시간 요구사항은 무엇인가요? 예측을 얼마나 빨리 제공해야 하나요?
- 초당 쿼리 수 (QPS) QPS 요구사항은 무엇인가요?
- RAM 사용량 학습 및 서빙의 RAM 요구사항은 무엇인가요?
- 플랫폼 모델이 실행되는 위치: 온라인 (RPC 서버로 전송된 쿼리), WebML (웹브라우저 내부), ODML (휴대전화 또는 태블릿), 오프라인(테이블에 저장된 예측)
해석 가능성. 예측이 해석 가능해야 하나요? 예를 들어 제품에서 '특정 콘텐츠가 스팸으로 표시된 이유는 무엇인가요?' 또는 '동영상이 플랫폼 정책을 위반하는 것으로 판단된 이유는 무엇인가요?'와 같은 질문에 답해야 하나요?
재학습 빈도 모델의 기본 데이터가 빠르게 변경되는 경우 자주 또는 지속적으로 재학습해야 할 수 있습니다. 하지만 자주 재학습하면 모델의 예측을 업데이트하는 이점보다 더 큰 비용이 발생할 수 있습니다.
대부분의 경우 기술 사양을 준수하기 위해 모델의 품질을 타협해야 할 수 있습니다. 이러한 경우 프로덕션에 사용할 수 있을 만큼 충분히 좋은 모델을 계속 생성할 수 있는지 확인해야 합니다.
생성형 AI
생성형 AI를 사용할 때는 다음 기술 요구사항을 고려하세요.
- 플랫폼 많은 사전 학습된 모델은 다양한 크기로 제공되므로 다양한 컴퓨팅 리소스를 갖춘 다양한 플랫폼에서 작동할 수 있습니다. 예를 들어 사전 학습된 모델은 데이터 센터 규모에서 휴대전화에 적합한 규모까지 다양합니다. 모델 크기를 선택할 때는 제품 또는 서비스의 지연 시간, 개인 정보 보호, 품질 제약 조건을 고려해야 합니다. 이러한 제약 조건은 종종 충돌할 수 있습니다. 예를 들어 개인 정보 보호 제약 조건에 따라 추론이 사용자 기기에서 실행되어야 할 수 있습니다. 하지만 기기에 좋은 결과를 생성할 컴퓨팅 리소스가 부족하여 출력 품질이 좋지 않을 수 있습니다.
- 지연 시간. 모델 입력 및 출력 크기는 지연 시간에 영향을 미칩니다. 특히 출력 크기는 입력 크기보다 지연 시간에 더 큰 영향을 미칩니다. 모델은 입력을 병렬화할 수 있지만 출력은 순차적으로만 생성할 수 있습니다. 즉, 500단어 또는 10단어 입력을 수집하는 지연 시간은 동일할 수 있지만 500단어 요약을 생성하는 데는 10단어 요약을 생성하는 것보다 훨씬 더 오래 걸립니다.
- 도구 및 API 사용. 모델이 작업을 완료하기 위해 인터넷 검색, 계산기 사용, 이메일 클라이언트 액세스와 같은 도구와 API를 사용해야 하나요? 일반적으로 작업을 완료하는 데 필요한 도구가 많을수록 실수가 전파되고 모델의 취약성이 증가할 가능성이 높아집니다.
비용
ML 구현이 비용 대비 가치가 있을까요? ML 솔루션의 구현 및 유지관리 비용이 솔루션에서 창출 (또는 절약)하는 금액보다 큰 경우 대부분의 ML 프로젝트는 승인되지 않습니다. ML 프로젝트에는 인력 비용과 머신 비용이 모두 발생합니다.
인적 비용. 프로젝트가 개념 증명에서 프로덕션으로 전환되는 데 몇 명이 필요하나요? ML 프로젝트가 발전함에 따라 일반적으로 비용이 증가합니다. 예를 들어 ML 프로젝트에서는 프로토타입을 만드는 것보다 프로덕션 준비 시스템을 배포하고 유지하는 데 더 많은 인력이 필요합니다. 각 단계에서 프로젝트에 필요한 역할의 수와 종류를 추정해 보세요.
머신 비용. 모델을 학습시키고, 배포하고, 유지관리하는 데는 많은 컴퓨팅과 메모리가 필요합니다. 예를 들어 모델을 학습시키고 예측을 제공하려면 데이터 파이프라인에 필요한 인프라와 함께 TPU 할당량이 필요할 수 있습니다. 데이터에 라벨을 지정하거나 데이터 라이선스 비용을 지불해야 할 수도 있습니다. 모델을 학습시키기 전에 장기적으로 ML 기능을 빌드하고 유지하는 데 드는 머신 비용을 추정해 보세요.
추론 비용. 모델이 생성된 수익보다 비용이 많이 드는 수백 또는 수천 개의 추론을 해야 하나요?
주의사항
이전 주제와 관련된 문제가 발생하면 ML 솔루션을 구현하기가 어려워질 수 있지만, 촉박한 기한으로 인해 어려움이 더 커질 수 있습니다. 문제의 난이도를 고려하여 충분한 시간을 계획하고 예산을 책정하고, ML이 아닌 프로젝트보다 더 많은 오버헤드 시간을 확보하세요.
이해도 확인
자연 보존 회사에서 일하며 회사의 식물 식별 소프트웨어를 관리합니다. 보호론자가 멸종 위기 동물의 서식지를 관리할 수 있도록 60가지 유형의 침입종을 분류하는 모델을 만들고 싶습니다.
유사한 식물 식별 문제를 해결하는 샘플 코드를 찾았으며 솔루션을 구현하는 데 드는 예상 비용이 프로젝트 예산 내에 있습니다. 데이터 세트에는 학습 예가 많이 있지만 가장 침습적인 5가지 종에 대한 예는 몇 개밖에 없습니다. 리더십에서는 모델의 예측이 해석 가능해야 한다고 요구하지 않으며 잘못된 예측과 관련된 부정적인 결과도 없는 것으로 보입니다. 머신러닝 솔루션이 실현 가능한가요?