GAN có một số chế độ lỗi thường gặp. Tất cả những vấn đề phổ biến này đều là các lĩnh vực nghiên cứu chủ động. Mặc dù không có vấn đề nào trong số này được giải quyết hoàn toàn, nhưng chúng tôi sẽ đề cập đến một số vấn đề mà mọi người đã thử.
Chuyển dần lớp chuyển tiếp
Nghiên cứu đã đề xuất rằng nếu bộ phân biệt của bạn quá tốt, thì việc đào tạo trình tạo có thể không thành công do độ dốc biến mất. Trên thực tế, trình phân biệt tối ưu không cung cấp đủ thông tin để trình tạo tiến triển.
Nỗ lực khắc phục
- Mất chất thải Wasserstein: Sự mất mát của Wasserstein được thiết kế để ngăn chặn các màu chuyển màu biến mất ngay cả khi bạn huấn luyện bộ phân biệt ở mức tối ưu.
- Giảm kích thước thu nhỏ: Bài viết gốc GAN đã đề xuất việc sửa đổi mức giảm tối đa để xử lý việc biến mất.
Chế độ thu gọn
Thông thường, bạn muốn GAN tạo ra nhiều loại kết quả. Ví dụ: bạn muốn có một khuôn mặt khác cho mỗi đầu vào ngẫu nhiên vào trình tạo khuôn mặt.
Tuy nhiên, nếu trình tạo tạo ra kết quả đặc biệt hợp lý, thì trình tạo có thể tìm hiểu để chỉ tạo kết quả đó. Trên thực tế, trình tạo luôn cố gắng tìm một đầu ra có vẻ hợp lý nhất với bộ phân biệt.
Nếu trình tạo bắt đầu tạo ra nhiều đầu ra (hoặc một tập hợp nhỏ các đầu ra) nhiều lần, thì chiến lược phân biệt tốt nhất là học cách luôn từ chối đầu ra đó. Nhưng nếu thế hệ bộ phân biệt tiếp theo bị kẹt ở mức tối thiểu cục bộ và không tìm thấy chiến lược tốt nhất, thì việc lặp lại bộ tạo tiếp theo sẽ trở nên quá dễ dàng để tìm ra đầu ra hợp lý nhất cho bộ phân biệt hiện tại.
Mỗi lần lặp lại của trình tạo sẽ tối ưu hoá quá mức cho một bộ phân biệt cụ thể và bộ phân biệt không bao giờ tìm cách thoát khỏi bẫy. Do đó, trình tạo sẽ xoay vòng qua một tập hợp nhỏ các loại đầu ra. Hình thức lỗi GAN này được gọi là thu gọn chế độ.
Nỗ lực khắc phục
Các phương pháp sau đây cố gắng buộc trình tạo mở rộng phạm vi bằng cách ngăn trình tạo tối ưu hóa cho một bộ phân biệt cố định:
- Khả năng giảm tải của Wasserstein: Chế độ sự mất mát của Wasserstein giúp thu gọn chế độ thu gọn bằng cách cho phép bạn huấn luyện bộ phân biệt để đạt được độ tối ưu mà không phải lo lắng về việc giảm dần độ dốc. Nếu bộ phân biệt này không bị kẹt trong minmin cục bộ, trình này sẽ tìm hiểu cách từ chối các đầu ra mà trình tạo ổn định. Vì vậy, trình tạo phải thử một nội dung mới.
- GAN chưa được gỡ lỗi: GAN chưa phát hành sử dụng hàm mất của trình tạo kết hợp không chỉ các phân loại hiện tại của bộ phân biệt mà còn kết quả của các phiên bản bộ phân biệt trong tương lai. Vì vậy, trình tạo không thể tối ưu hoá quá mức cho một bộ phân biệt.
Không thể hội tụ
Các GAN thường không hội tụ, như đã thảo luận trong mô-đun về đào tạo.
Nỗ lực khắc phục
Các nhà nghiên cứu đã cố gắng sử dụng nhiều hình thức thông thường để cải thiện sự hội tụ GAN, bao gồm:
- Thêm tiếng ồn vào thông tin đầu vào phân biệt đối xử: Ví dụ: xem Các phương thức nguyên tắc hướng tới đối với cách đào tạo cách hoạt động chính xác của mạng quảng cáo.
- Thúc đẩy trọng số phân biệt đối xử: Xem các ví dụ: Ổn định nội dung đào tạo về các Mạng lưới quảng cáo chung thông qua quá trình chuẩn hoá.