Mạng nơron

Bạn có thể nhớ lại từ Bài tập chéo tính năng trong mô-đun dữ liệu danh mục, rằng vấn đề phân loại sau đây là phi tuyến tính:

Hình 1. Mặt phẳng toạ độ Descartes, được chia thành bốn góc phần tư, mỗi góc phần tư được lấp đầy bằng các dấu chấm ngẫu nhiên có hình dạng giống hình vuông. Các dấu chấm ở góc trên cùng bên phải và góc dưới cùng bên trái có màu xanh dương, còn các dấu chấm ở góc trên cùng bên trái và góc dưới cùng bên phải có màu cam.
Hình 1. Vấn đề phân loại phi tuyến tính. Hàm tuyến tính không được tách riêng tất cả các chấm màu xanh dương khỏi các chấm màu cam.

"Không tuyến tính" có nghĩa là bạn không thể dự đoán chính xác một nhãn bằng mô hình ở dạng \(b + w_1x_1 + w_2x_2\). Nói cách khác, "bề mặt quyết định" không phải là một đường thẳng.

Tuy nhiên, nếu thực hiện phép nhân các đặc điểm trên các đặc điểm $x_1$ và $x_2$, chúng ta có thể biểu thị mối quan hệ phi tuyến tính giữa hai đặc điểm này bằng cách sử dụng mô hình tuyến tính: $b + w_1x_1 + w_2x_2 + w_3x_3$, trong đó $x_3$ là phép nhân các đặc điểm giữa $x_1$ và $x_2$:

Hình 2. Cùng một mặt phẳng toạ độ Descartes màu xanh dương và cam
      như trong Hình 1.  Tuy nhiên, lần này một đường cong hyperbol màu trắng
      được vẽ trên lưới, sẽ phân tách các chấm màu xanh dương ở góc trên cùng bên phải
      và góc phần tư dưới cùng bên trái (hiện được tô bóng với nền màu xanh dương) từ
      các chấm màu cam trong góc phần tư trên cùng bên trái và dưới cùng bên phải (hiện tại
      được tô bóng với nền màu cam).
Hình 2. Bằng cách thêm giao điểm của các đặc điểm x1x2, mô hình tuyến tính có thể học được một hình dạng hyperbolic phân tách các dấu chấm màu xanh dương với các dấu chấm màu cam.

Bây giờ, hãy xem xét tập dữ liệu sau:

Hình 3. Mặt phẳng toạ độ Descartes, được chia thành 4 góc phần tư.
      Một cụm hình tròn gồm các chấm màu xanh dương được đặt ở gốc của đồ thị và được bao quanh bởi một vòng tròn gồm các chấm màu cam.
Hình 3. Một vấn đề khó phân loại phi tuyến tính hơn.

Bạn cũng có thể nhớ lại từ Bài tập về phép lai ghép tính năng rằng việc xác định đúng phép lai ghép tính năng để phù hợp với mô hình tuyến tính cho dữ liệu này cần nhiều nỗ lực và thử nghiệm hơn một chút.

Nhưng nếu bạn không phải tự mình thực hiện tất cả các thử nghiệm đó thì sao? Mạng nơron là một gia đình cấu trúc mô hình được thiết kế để tìm nonlinear trong dữ liệu. Trong quá trình huấn luyện mạng nơron, mô hình sẽ tự động học các giao điểm đặc điểm tối ưu để thực hiện trên dữ liệu đầu vào nhằm giảm thiểu tổn thất.

Trong các phần sau, chúng ta sẽ xem xét kỹ hơn về cách hoạt động của mạng nơron.