Tăng độ dốc (đơn vị không bắt buộc)

Trong các bài toán hồi quy, bạn nên xác định lỗi đã ký là sự khác biệt giữa thông tin dự đoán và nhãn. Tuy nhiên, trong các loại vấn đề khác, chiến lược này thường dẫn đến kết quả kém. Một chiến lược hiệu quả hơn khi dùng trong tính năng tăng độ chuyển màu là:

• Định nghĩa một hàm suy hao tương tự như hàm tổn hao dùng trong mạng nơron. Ví dụ: entropy (còn gọi là mất nhật ký) cho một bài toán phân loại.
• Huấn luyện mô hình yếu để dự đoán độ dốc của tổn thất theo đầu ra của mô hình mạnh.

Chính thức, với một hàm suy hao $L(y,p)$ trong đó $y$ là nhãn và $p$ dự đoán, phản hồi giả $z_i$ dùng để huấn luyện mô hình yếu ở bước $i$ là:

$$ z_i = \frac {\partial L(y, F_i)} {\partial F_i} $$

trong đó:

• $F_i$ là dự đoán của mô hình mạnh.

Ví dụ trước là một vấn đề hồi quy: Mục tiêu là dự đoán một giá trị số. Trong trường hợp hồi quy, sai số bình phương là một hàm tổn thất thông thường:

$$ L(y,p) = (y - p)^2 $$

Trong trường hợp này, độ dốc là:

$$ z = \frac {\partial L(y, F_i)} {\partial F_i} = \frac {\partial(y-p)^2} {\partial p} = 2(y - p) = 2 \ \text{signed error} $$

Nói theo thứ tự, độ dốc là một lỗi đã ký trong ví dụ của chúng tôi với hệ số là 2. Xin lưu ý rằng các yếu tố cố định không quan trọng do độ co rút. Xin lưu ý rằng sự tương đương này chỉ đúng cho các bài toán hồi quy có sai số bình phương. Đối với các vấn đề khác về học có giám sát (ví dụ: phân loại, xếp hạng, hồi quy khi giảm theo tỷ lệ phần trăm), không có sự tương đương giữa độ dốc và lỗi đã ký.

Tối ưu hoá lá và cấu trúc bằng bước phương thức của Newton

Phương pháp Newton là một phương pháp tối ưu hoá chẳng hạn như giảm độ dốc. Tuy nhiên, không giống như phương pháp giảm độ dốc chỉ sử dụng độ dốc của hàm để tối ưu hoá, phương thức của Newton sử dụng cả chuyển màu (đạo hàm đầu tiên) và đạo hàm thứ hai của hàm để tối ưu hoá.

Sau đây là một bước giảm dần độ dốc:

$$ x_{i+1} = x_i - \frac {df}{dx}(x_i) = x_i - f'(x_i) $$

và phương pháp của Newton như sau:

$$ x_{i+1} = x_i - \frac {\frac {df}{dx} (x_i)} {\frac {d^2f}{d^2x} (x_i)} = x_i - \frac{f'(x_i)}{f''(x_i)}$$

Bạn có thể tích hợp phương thức của Newton vào việc huấn luyện cây tăng cường chuyển màu theo 2 cách:

1. Sau khi cây được huấn luyện, một bước của Newton sẽ được áp dụng trên mỗi lá và ghi đè giá trị của bước đó. Cấu trúc cây không bị ảnh hưởng; chỉ có giá trị lá thay đổi.
2. Trong quá trình cây phát triển, các điều kiện được chọn theo một điểm số có chứa một thành phần của công thức Newton. Cấu trúc của cây sẽ bị ảnh hưởng.

Mã YDF

Trong YDF:

• YDF luôn áp dụng một bước Newton trên lá (lựa chọn 1).
• Bạn có thể bật lựa chọn 2 bằng use_hessian_gain=True.