Vì một GAN chứa hai mạng được đào tạo riêng biệt, nên thuật toán đào tạo của GAN phải giải quyết được hai vùng chức năng:
- GAN phải kết hợp hai loại hình đào tạo khác nhau (trình tạo và phân biệt).
- Hội tụ GAN rất khó xác định.
Đào tạo thay thế
Trình tạo và bộ phân biệt có các quy trình đào tạo khác nhau. Vậy làm cách nào để chúng ta huấn luyện toàn bộ GAN?
Đào tạo về GAN diễn ra trong các khoảng thời gian luân phiên:
- Bộ phân biệt này huấn luyện một hoặc nhiều khoảng thời gian bắt đầu của hệ thống.
- Trình tạo sẽ huấn luyện một hoặc nhiều khoảng thời gian bắt đầu của hệ thống.
- Lặp lại các bước 1 và 2 để tiếp tục huấn luyện mạng máy phát và bộ phân biệt.
Chúng tôi sẽ giữ nguyên hằng số trình tạo trong giai đoạn huấn luyện bộ phân biệt. Trong quá trình đào tạo phân biệt đối xử, chúng tôi cố gắng tìm ra cách phân biệt dữ liệu thực với dữ liệu giả mạo, đồng thời phải tìm hiểu cách nhận biết các lỗi của trình tạo. Đó là một vấn đề khác đối với một trình tạo kỹ thuật số đã được đào tạo kỹ thuật so với vấn đề đối với một trình tạo không được đào tạo (tạo ra đầu ra ngẫu nhiên).
Tương tự như vậy, chúng ta giữ hằng số phân biệt trong giai đoạn huấn luyện trình tạo. Nếu không, trình tạo sẽ cố gắng đạt được mục tiêu đang chuyển động và có thể không bao giờ hội tụ.
Chính điều này cho phép GAN giải quyết các vấn đề phát sinh không thể xử lý. Chúng ta sẽ thấy một vấn đề khó phát sinh bằng cách bắt đầu với một bài toán phân loại đơn giản hơn. Ngược lại, nếu bạn không thể đào tạo một trình phân loại để phân biệt dữ liệu thực và dữ liệu được tạo ngay cả khi đầu ra của trình tạo ngẫu nhiên ban đầu, bạn không thể bắt đầu khoá đào tạo GAN.
Hội tụ
Khi trình tạo cải thiện trong quá trình huấn luyện, hiệu suất phân biệt sẽ trở nên tệ hơn vì bộ phân biệt này không thể dễ dàng phân biệt giữa giả mạo và thực tế. Nếu trình tạo thành công một cách hoàn hảo, thì bộ phân biệt có độ chính xác 50%. Trên thực tế, bộ phân biệt này sẽ tung một đồng xu để tạo thông tin dự đoán.
Tiến trình này gây ra một vấn đề để hội tụ GAN nói chung: phản hồi phân biệt đối xử sẽ trở nên ít ý nghĩa hơn theo thời gian. Nếu GAN tiếp tục huấn luyện vượt qua thời điểm mà bộ phân biệt cung cấp phản hồi hoàn toàn ngẫu nhiên, thì trình tạo sẽ bắt đầu huấn luyện phản hồi rác và chất lượng của bộ phân biệt đó có thể bị thu gọn.
Đối với GAN, sự hội tụ thường là một trạng thái thoáng qua, thay vì trạng thái ổn định.