Để xây dựng một mạng nơ-ron có khả năng học các hàm phi tuyến tính , hãy bắt đầu với cấu trúc mô hình quen thuộc sau: một mô hình tuyến tính có dạng $y' = b + w_1x_1 + w_2x_2 + w_3x_3$.
Chúng ta có thể hình dung phương trình này như hình bên dưới, trong đó $x_1$, $x_2$, và $x_3$ là ba nút đầu vào của chúng ta (màu xanh lam), và $y'$ là nút đầu ra của chúng ta (màu xanh lục).
Bài tập 1
Trong mô hình trên, các giá trị trọng số và độ lệch đã được khởi tạo ngẫu nhiên. Hãy thực hiện các nhiệm vụ sau để làm quen với giao diện và khám phá mô hình tuyến tính. Bạn có thể bỏ qua menu thả xuống Hàm kích hoạt hiện tại; chúng ta sẽ thảo luận về chủ đề này sau trong mô-đun này.
Nhấp vào nút Phát (▶️) phía trên mạng để tính giá trị của nút đầu ra cho các giá trị đầu vào $x_1 = 1.00$, $x_2 = 2.00$ và $x_3 = 3.00$.
Nhấp chuột vào nút thứ hai trong lớp đầu vào và tăng giá trị từ 2,00 lên 2,50. Lưu ý rằng giá trị của nút đầu ra thay đổi. Chọn các nút đầu ra (màu xanh lá cây) và xem lại bảng Tính toán để xem giá trị đầu ra được tính toán như thế nào.
Nhấp vào nút đầu ra (màu xanh lá cây) để xem giá trị tham số trọng số ($w_1$, $w_2$, $w_3$) và độ lệch ($b$). Giảm giá trị trọng số cho $w_3$ (lưu ý rằng giá trị của nút đầu ra và các phép tính bên dưới đã thay đổi). Sau đó, tăng giá trị độ lệch. Xem xét những thay đổi này đã ảnh hưởng đến kết quả đầu ra của mô hình như thế nào.
Thêm các lớp vào mạng
Lưu ý rằng khi bạn điều chỉnh các giá trị trọng số và độ lệch của mạng trong Bài tập 1 , điều đó không làm thay đổi mối quan hệ toán học tổng thể giữa đầu vào và đầu ra. Mô hình của chúng ta vẫn là một mô hình tuyến tính.
Nhưng điều gì sẽ xảy ra nếu chúng ta thêm một lớp nữa vào mạng, nằm giữa lớp đầu vào và lớp đầu ra? Trong thuật ngữ mạng nơ-ron, các lớp bổ sung giữa lớp đầu vào và lớp đầu ra được gọi là các lớp ẩn , và các nút trong các lớp này được gọi là nơ-ron .
Giá trị của mỗi nơ-ron trong lớp ẩn được tính toán theo cùng một cách như đầu ra của mô hình tuyến tính: lấy tổng của tích các đầu vào của nó (các nơ-ron trong lớp mạng trước đó) và một tham số trọng số duy nhất, cộng với hệ số thiên vị (bias). Tương tự, các nơ-ron trong lớp tiếp theo (ở đây là lớp đầu ra) được tính toán bằng cách sử dụng giá trị của các nơ-ron trong lớp ẩn làm đầu vào.
Lớp ẩn mới này cho phép mô hình của chúng ta kết hợp lại dữ liệu đầu vào bằng cách sử dụng một tập hợp tham số khác. Liệu điều này có thể giúp mô hình của chúng ta học được các mối quan hệ phi tuyến tính không?
Bài tập 2
Chúng tôi đã thêm một lớp ẩn chứa bốn nơron vào mô hình.
Nhấp vào nút Phát (▶️) phía trên mạng để tính toán giá trị của bốn nút lớp ẩn và nút đầu ra với các giá trị đầu vào $x_1 = 1.00$, $x_2 = 2.00$ và $x_3 = 3.00$.
Sau đó, hãy khám phá mô hình và sử dụng nó để trả lời các câu hỏi sau.
Hãy thử điều chỉnh các tham số của mô hình và quan sát ảnh hưởng của chúng đến giá trị nút lớp ẩn và giá trị đầu ra (bạn có thể xem bảng Tính toán bên dưới để xem cách các giá trị này được tính toán).
Mô hình này có thể học được các hàm phi tuyến tính không?
Nếu bạn nhấp vào từng nút trong lớp ẩn và xem lại các phép tính bên dưới, bạn sẽ thấy rằng tất cả chúng đều là tuyến tính (bao gồm các phép nhân và phép cộng).
Nếu sau đó bạn nhấp vào nút đầu ra và xem lại phép tính bên dưới, bạn sẽ thấy rằng phép tính này cũng là tuyến tính. Các phép tính tuyến tính được thực hiện trên đầu ra của các phép tính tuyến tính cũng là tuyến tính, điều đó có nghĩa là mô hình này không thể học được các phi tuyến tính.