Trong Hình 1 và 2, hãy tưởng tượng như sau:
- Chấm màu xanh dương tượng trưng cho cây bị bệnh.
- Chấm màu cam tượng trưng cho cây khỏe mạnh.
Hình 1. Đây có phải là vấn đề tuyến tính không?
Bạn có thể vẽ một đường kẻ ngăn cách những cây bị bệnh với những cây lành mạnh không? Chắc chắn rồi. Đây là một vấn đề tuyến tính. Dòng này sẽ không hoàn hảo. Một hoặc hai cây bị bệnh có thể xuất hiện ở bên cạnh
Bây giờ, hãy nhìn vào hình sau:
Hình 2. Đây có phải là vấn đề tuyến tính không?
Bạn có thể vẽ một đường thẳng duy nhất có khả năng phân tách cây bệnh một cách gọn gàng khỏi các cây khỏe mạnh không? Bạn không thể làm điều đó. Đây là một vấn đề phi tuyến tính. Bất kỳ dòng nào bạn vẽ sẽ là một đối tượng dự đoán không tốt về tình trạng cây xanh.
Hình 3. Một dòng không thể tách riêng hai lớp này.
Để giải quyết bài toán phi tuyến tính trong Hình 2, hãy tạo một phần tử chéo tính năng. Mô hình chéo tính năng là một tính năng tổng hợp mã hoá phi tuyến tính trong không gian tính năng bằng cách nhân hai hoặc nhiều tính năng đầu vào với nhau. (Thuật ngữ gạch chéo xuất phát từ nhiều sản phẩm.) Hãy tạo một tính năng chéo có tên \(x_3\) bằng cách vượt qua \(x_1\) và \(x_2\):
Chúng tôi coi tính năng \(x_3\) mới được rút gọn này giống như mọi tính năng khác. Công thức tuyến tính trở thành:
Thuật toán tuyến tính có thể xác định trọng số cho \(w_3\) giống như đối với \(w_1\) và \(w_2\). Nói cách khác, mặc dù \(w_3\) mã hoá thông tin phi tuyến tính, nhưng bạn không cần thay đổi cách mô hình tuyến tính huấn luyện để xác định giá trị của \(w_3\).
Các loại tính năng kết hợp
Chúng ta có thể tạo nhiều loại tính năng khác nhau. Ví dụ:
[A X B]: một tính năng được hình thành chéo bằng cách nhân giá trị của hai tính năng.[A x B x C x D x E]: một tính năng được hình thành chéo bằng cách nhân giá trị của 5 tính năng.[A x A]: một đối tượng địa lý được hình thành bằng cách kết hợp một đối tượng địa lý đơn lẻ.
Nhờ tính năng giảm độ dốc stochastic, các mô hình tuyến tính có thể được đào tạo hiệu quả. Do đó, việc bổ sung các mô hình tuyến tính theo tỷ lệ với các kiểu giá trị truyền thống thường là một cách hiệu quả để đào tạo về các tập dữ liệu quy mô lớn.