TF 및 TFX를 사용한 구현

이 과정의 테스트 및 디버깅 가이드라인은 복잡할 수 있습니다. TensorFlow 및 TensorFlow Extended (TFX)를 사용하여 일부 가이드라인을 구현할 수 있습니다. TFX는 TensorFlow를 기반으로 하는 엔드 투 엔드 ML 파이프라인입니다. 데모는 이 엔드 투 엔드 TFX 예시를 확인하세요. 엔드 투 엔드 예시를 보완하기 위해 다음 표에는 가이드라인으로 TF와 TFX에서 사용 가능한 리소스가 나와 있습니다. TF 또는 TFX에서 지원하는 가이드라인만 나열됩니다.

가이드라인 TF/TFX 구현 Google 내부 구현
ML 모델 디버깅 가이드라인
데이터를 탐색하여 이해하기 Pandas 또는 Facets를 사용하여 데이터 탐색
데이터 스키마를 사용하여 입력 데이터 검증 TensorFlow Data Validation을 사용합니다.
분할의 품질이 우수해야 함 -- TFX는 데이터를 무작위로 분할합니다. 그러나 현재 TFX는 분할의 품질을 모니터링할 수 있는 방법을 제공하지 않습니다.
엔지니어링된 데이터 테스트 -- TFX 변환 구성요소의 단위 테스트를 작성합니다. tf.transform 입력의 단위 테스트를 참고하세요.
ML 코드 테스트 구현 먼저 Eager Execution으로 TF 모델을 디버깅합니다. 그런 다음 TensorFlow 테스팅으로 테스트를 작성합니다. TFX의 단위 테스트tfx.unit을 참고하세요.
최적화
초매개변수 조정 Cloud ML의 초매개변수 조정 사용 TFX 튜너를 사용하여 초매개변수를 동시에 조정합니다. 모델 자동 조정을 참조하세요.
측정항목
모델 측정항목 생성 텐서보드는 TF 그래프를 시각화하고 측정항목을 표시합니다. 텐서보드: 그래프 시각화를 참고하세요. Google 관련 텐서보드 도움말을 참조하세요.
파이프라인에 배포
전체 파이프라인 측정항목 모니터링 -- ML 상태 측정항목 대시보드를 참조하세요.
파이프라인 통합 테스트 -- TFX 통합 테스트를 참고하세요.
프로덕션 단계에서 모델 품질 테스트 TensorFlow 모델 분석을 사용합니다. TFX ModelValidator 사용
서빙 전에 모델 인프라 호환성 검증 -- TFX InfraValidator를 사용합니다.
학습-제공 편향 확인 TFX 변환을 사용해 학습 및 서빙 전반에 걸쳐 특성 추출 코드를 공유하여 특성 편향을 방지하세요. TFX 학습-제공 편향 감지를 참고하세요.
모델 비활성 추적 -- 구현되지 않았습니다. 기능 요청 추적 버그를 참조하세요.