2.2. Hồi qui Ridge và Lasso¶
Mục tiêu của bài viết này là giúp chúng ta hiểu về mô hình hồi qui Ridge và mô hình hồi qui Lasso. Giả định bạn đang xây dựng mô hình hồi qui tuyến tính nhưng thật không may mắn, mô hình của bạn gặp hiện tượng quá khớp (overfitting). Khi đó bạn có thể nghĩ đến một số ý tưởng:
Giảm bớt số lượng biến đầu vào.
Loại bỏ outliers.
Xử lý các trường hợp dữ liệu bị khuyết.
Thu thập thêm dữ liệu huấn luyện.
Thay đổi lớp mô hình.
…
Có khá nhiều ý tưởng cho bạn thử nghiệm, một trong số chúng có thể giúp bạn khắc phục hiện tượng quá khớp. Đa phần các kĩ thuật đều liệu quan tới xử lý dữ liệu đầu vào một cách thủ công và cần phải cân nhắc trước khi đưa ra một quyết định thay đổi dữ liệu đầu vào.
Nhưng có một phương pháp khá hiệu quả giúp khắc phục tức thời hiện tượng quá khớp mà không đòi hỏi chúng ta phải thay đổi dữ liệu. Đó chính là hồi qui Ridge và Lasso mà chúng ta sẽ tìm hiểu trong bài viết này.
Vậy thì Ridge và Lasso là những mô hình như thế nào? Vì sao chúng lại khắc phục được hiện tượng quá khớp?
Một cách khách quan, Ridge và Lasso là những biến thể của hồi qui tuyến tính mà ở đó chúng ta thay đổi hàm mất mát MSE để kiểm soát độ lớn của tham số huấn luyện nhằm giảm thiểu hiện tượng quá khớp trong các bài toán dự báo của học có giám sát. Qua bài viết này bạn sẽ được tìm hiểu:
Lý thuyết đằng sau hai lớp mô hình là gì?
Lời giải cho bài toán tối ưu.
Đặc điểm của nghiệm trả về.
Cách lựa chọn hệ số nhân \(\alpha\) của thành phần điều chuẩn cho những mô hình này.