Khởi động mạng nơron

Bài tập này sử dụng lại dữ liệu XOR, nhưng xem xét độ lặp lại về việc huấn luyện Mạng nơron và tầm quan trọng của việc khởi tạo.

Nhiệm vụ 1: Chạy mô hình theo cách đã cho 4 hoặc 5 lần. Trước mỗi lần dùng thử, hãy nhấn vào nút Reset the network (Đặt lại mạng) để có một lần khởi chạy ngẫu nhiên mới. (Nút Đặt lại mạng là mũi tên đặt lại dạng vòng tròn chỉ vào bên trái nút Phát). Hãy để mỗi thử nghiệm chạy ít nhất 500 bước để đảm bảo tính hội tụ. Mỗi đầu ra của mô hình hội tụ về hình dạng nào? Điều này nói lên điều gì về vai trò của khởi tạo trong mặt không lồi tối ưu hoá?

Nhiệm vụ 2: Thử làm cho mô hình phức tạp hơn một chút bằng cách thêm một lớp và một vài nút bổ sung. Lặp lại các lượt thử từ Nhiệm vụ 1. Có nên làm việc này không bổ sung độ ổn định nào cho kết quả?

(Câu trả lời sẽ xuất hiện ngay bên dưới bài tập).

---

---

Nhấp vào biểu tượng dấu cộng để xem câu trả lời cho Nhiệm vụ 1.

Mô hình đã học có các hình dạng khác nhau trong mỗi lần chạy. Quy tắc hội tụ mức giảm trong thử nghiệm đã thay đổi gần 2 lần từ thấp nhất đến cao nhất.

Nhấp vào biểu tượng dấu cộng để xem câu trả lời cho Nhiệm vụ 2.

Việc thêm lớp và các nút bổ sung tạo ra nhiều kết quả có thể lặp lại hơn. Trong mỗi lần chạy, mô hình thu được trông gần như giống nhau. Hơn nữa, tổn thất trong thử nghiệm hội tụ cho thấy sự chênh lệch giữa các lần chạy ít hơn.