Đào tạo mạng nơron

Truyền ngược là thuật toán huấn luyện phổ biến nhất cho mạng nơron. Công nghệ này giúp giảm độ chuyển màu cho mạng nơron nhiều lớp. TensorFlow tự động xử lý việc truyền tải ngược, nên bạn không cần hiểu rõ về thuật toán. Để hiểu cách hoạt động của tính năng này, hãy thực hiện các bước sau: Giải thích bằng hình ảnh về thuật toán lan truyền ngược. Khi bạn xem nội dung giải thích trước đó, hãy lưu ý những điều sau:

  • Cách dữ liệu luân chuyển qua biểu đồ.
  • Cách lập trình động giúp chúng ta tránh việc tính toán nhiều đường dẫn theo cấp số nhân thông qua biểu đồ. Ở đây, "lập trình động" chỉ có nghĩa là ghi lại kết quả trung gian cho các lượt truyền tiến và lùi.

Lưới nơron huấn luyện

  • Chuyển màu rất quan trọng
    • Nếu có thể khác biệt, chúng ta có thể học hỏi dựa trên đó
  • Chuyển màu rất quan trọng
    • Nếu có thể khác biệt, chúng ta có thể học hỏi dựa trên đó
  • Chuyển màu có thể biến mất
    • Mỗi lớp bổ sung có thể giảm liên tiếp tín hiệu so với nhiễu
    • ReLu rất hữu ích trong trường hợp này
  • Chuyển màu rất quan trọng
    • Nếu có thể khác biệt, chúng ta có thể học hỏi dựa trên đó
  • Chuyển màu có thể biến mất
    • Mỗi lớp bổ sung có thể giảm liên tiếp tín hiệu so với nhiễu
    • ReLu rất hữu ích trong trường hợp này
  • Chuyển màu có thể phát nổ
    • Tốc độ học rất quan trọng ở đây
    • Chuẩn hoá hàng loạt (nút hữu ích) có thể giúp bạn
  • Chuyển màu rất quan trọng
    • Nếu có thể khác biệt, chúng ta có thể học hỏi dựa trên đó
  • Chuyển màu có thể biến mất
    • Mỗi lớp bổ sung có thể giảm liên tiếp tín hiệu so với nhiễu
    • ReLu rất hữu ích trong trường hợp này
  • Chuyển màu có thể phát nổ
    • Tốc độ học rất quan trọng ở đây
    • Chuẩn hoá hàng loạt (nút hữu ích) có thể giúp bạn
  • Các lớp ReLu có thể chết
    • Bình tĩnh và giảm tốc độ học tập
  • Chúng tôi muốn các tính năng của mình có tỷ lệ hợp lý
    • Gần như căn giữa bằng 0, phạm vi [-1, 1] thường hoạt động tốt
    • Giúp hội tụ giảm độ dốc; tránh bẫy NaN
    • Việc tránh các giá trị ngoại lệ cũng có thể giúp ích
  • Có thể sử dụng một vài phương pháp chuẩn:
    • Chia độ tuyến tính
    • Hình chữ nhật cứng (Cắt ngắn) đến tối đa, tối thiểu
    • Điều chỉnh tỷ lệ nhật ký
  • Dropout: Một hình thức chính quy khác, hữu ích cho NN
  • Hoạt động bằng cách "bỏ qua" ngẫu nhiên các đơn vị trong mạng cho một bước chuyển màu duy nhất
    • Có mối liên kết với các mô hình tổng hợp ở đây
  • Càng bỏ ngang nhiều, việc điều chỉnh càng chặt chẽ
    • 0.0 = không chính quy bỏ học
    • 1.0 = bỏ mọi thứ! không học gì cả
    • Các giá trị trung gian hữu ích hơn
Trước
Bài tập lập trình
Tiếp
Các phương pháp hay nhất