LightGBM cho tín hiệu giao dịch quyền chọn (nhanh hơn XGBoost, độ chính xác tương đương)

LightGBM là một thư viện tăng cường gradient (gradient-boosting) xây dựng cây theo từng lá (leaf-wise) thay vì theo từng cấp độ (level-wise). Do đó, thư viện này đạt được độ chính xác tương tự như XGBoost hoặc sklearn HistGradientBoosting trong một khoảng thời gian ngắn hơn đáng kể. Đối với dữ liệu quyền chọn dạng bảng (chuỗi, Greeks, bề mặt biến động), đây là cách nhanh nhất để huấn luyện một mô hình tín hiệu trên máy tính xách tay hoặc điện thoại. Hướng dẫn này trình bày cách thức hoạt động của LightGBM và cung cấp một tập lệnh huấn luyện có thể chạy được. Chỉ mang tính chất giáo dục. Không phải lời khuyên đầu tư. Quyền chọn có thể mất toàn bộ giá trị. Hãy tham khảo ý kiến của một cố vấn có giấy phép. **Điều gì làm nên sự khác biệt của LightGBM** Các thuật toán tăng cường gradient tiêu chuẩn (bao gồm cả mặc định của XGBoost) phát triển cây theo từng cấp độ — mỗi lá ở độ sâu hiện tại đều được phân tách cùng lúc. LightGBM phát triển theo từng lá — nó luôn phân tách lá làm giảm tổn thất nhiều nhất. Điều này tập trung năng lực vào các trường hợp khó nhất và hội tụ nhanh hơn. * **Phát triển theo từng lá (Leaf-wise growth):** Cây sâu hơn, bất đối xứng; hội tụ nhanh hơn. * **Phân tách dựa trên biểu đồ (Histogram-based splits):** Phân loại các đặc trưng thành 256 nhóm (bucket), quét các nhóm thay vì các hàng dữ liệu → nhanh hơn 10-30 lần so với tìm kiếm chính xác. * **Gộp đặc trưng độc quyền (Exclusive Feature Bundling - EFB):** Gộp các đặc trưng thưa thớt (ví dụ: cờ OI) thành một, giảm số chiều dữ liệu. * **Lấy mẫu dựa trên gradient (Gradient-based sampling):** Huấn luyện trên một tập hợp con các ví dụ khó. **LightGBM so với XGBoost so với HistGradientBoosting** | Tiêu chí | LightGBM | XGBoost | HistGradientBoosting | | :----------------- | :---------------- | :--------------- | :------------------- | | Phát triển cây | theo từng lá | theo từng cấp độ | theo từng cấp độ | | Tốc độ | nhanh nhất | nhanh (GPU) | nhanh (CPU) | | Bộ nhớ | thấp nhất | trung bình | trung bình | | Tinh chỉnh | nhiều tham số | rất nhiều | ít (mặc định hợp lý) | | Phù hợp với điện thoại | tốt (pip install) | cần wheel | thư viện chuẩn sklearn | Đối với một quy trình bán lẻ, LightGBM vượt trội về tốc độ trên mỗi độ chính xác; HistGradientBoosting vượt trội vì không cần thêm phụ thuộc; XGBoost vượt trội trong các tác vụ quét GPU. **Cài đặt** ```bash # Mac / Linux / Termux pip install lightgbm # Windows CMD pip install lightgbm ``` **Các siêu tham số quan trọng** ```bash # Mac / Linux / Termux python3 tune_lgb.py # Windows CMD py tune_lgb.py ``` ```python import lightgbm as lgb params = { "objective": "binary", "metric": "auc", "learning_rate": 0.05, "num_leaves": 31, # giới hạn theo từng lá; 2^max_depth-1 "max_depth": 4, # vẫn giới hạn độ sâu để tránh overfitting "min_child_samples": 20, # số hàng tối thiểu trong một lá "feature_fraction": 0.9, # lấy mẫu con đặc trưng trên mỗi cây "bagging_fraction": 0.9, # lấy mẫu con hàng trên mỗi cây "lambda_l2": 1.0, # điều chuẩn lá "n_jobs": -1, } ``` Hai tham số có ảnh hưởng lớn là `num_leaves` (chiều rộng theo từng lá) và `learning_rate`. Hãy giữ `max_depth` có giới hạn mặc dù phát triển theo từng lá thường bỏ qua nó theo mặc định — độ sâu không giới hạn sẽ gây overfitting trên các tập dữ liệu quyền chọn nhỏ. **Ví dụ tín hiệu quyền chọn có thể chạy được** ```bash # Mac / Linux / Termux python3 train_lgb.py # Windows CMD py train_lgb.py ``` ```python import lightgbm as lgb from sklearn.model_selection import TimeSeriesSplit, roc_auc_score import pandas as pd FEATURES = ["spread_pct","moneyness","iv_skew","pcr", "theta_per_delta","gamma","vega","dte","oi","volume"] def train_signal(X, y, params): tscv = TimeSeriesSplit(n_splits=5) for tr, te in tscv.split(X): dtr = lgb.Dataset(X.iloc[tr], y.iloc[tr]) dte = lgb.Dataset(X.iloc[te], y.iloc[te]) bst = lgb.train(params, dtr, num_boost_round=300, valid_sets=dte, callbacks=[lgb.early_stop(20)]) p = bst.predict(X.iloc[te]) print("fold AUC:", round(roc_auc_score(y.iloc[te], p), 3)) return bst ``` `lgb.early_stop(20)` dừng quá trình khi AUC trên tập kiểm định không cải thiện — đây là biện pháp bảo vệ tốt nhất chống lại overfitting trên vài trăm cửa sổ đáo hạn. **Dừng sớm trong thực tế** ```python bst = lgb.train(params, dtr, num_boost_round=1000, valid_sets=dte, callbacks=[lgb.early_stop(20), lgb.log_evaluation(0)]) ``` Không nên mã hóa cứng tham số `num_boost_round`; hãy để tính năng dừng sớm (early-stop) tự động chọn. Trên điện thoại, điều này rất quan trọng – một quá trình huấn luyện thủ công 1.000 vòng sẽ tiêu tốn pin hơn so với một quá trình dừng sớm ở 180 vòng. Kỹ thuật đặc trưng (Feature engineering) mang lại hiệu quả. Tương tự như các bộ tăng cường (booster) khác – tín hiệu đơn điệu, tách biệt: `theta_per_delta` – chi phí phân rã so với mức độ tiếp xúc theo hướng. `iv_skew` – độ rẻ so với mức giá hòa vốn (ATM). `moneyness` – vị thế trong/ngoài vùng có lời (ITM/OTM). `pcr` – mức độ cực đoan của tâm lý thị trường. Loại bỏ `oi/volume` khỏi các đặc trưng dự đoán – chúng chỉ xếp hạng cao khi nhãn bị rò rỉ thông tin. Khả năng giải thích `importance = pd.Series(bst.feature_importance(), index=FEATURES).sort_values(ascending=False)` `print(importance)` Nếu `theta_per_delta` và `iv_skew` dẫn đầu, điều này hợp lý. Nếu `oi` dẫn đầu, có sự rò rỉ thông tin – cần điều chỉnh nhãn. Quy trình sản xuất hoàn chỉnh (Công cụ dữ liệu -> Bộ dự đoán -> Bộ lọc) Một bài báo được công bố thường chỉ trình bày mô hình và kiểm định ngược (backtest). Hệ thống sản xuất thực tế hoạt động với bốn giai đoạn giữa dữ liệu thị trường thô và một giao dịch: 1. CÔNG CỤ DỮ LIỆU thu thập chuỗi (chain) + IV (độ biến động ngụ ý) + PCR (tỷ lệ quyền chọn mua/bán) + chỉ số biến động (vol-index) sau mỗi N giây. 2. CÔNG CỤ ĐẶC TRƯNG xây dựng các đặc trưng (`build_features()`) -> làm sạch, loại bỏ trùng lặp, gán nhãn. 3. BỘ DỰ ĐOÁN mô hình LightGBM -> xác suất tăng giá (`prob_up`) cho mỗi mức giá thực hiện (strike). 4. BỘ LỌC các quy tắc về Greeks (độ nhạy giá quyền chọn) + chế độ thị trường (regime) + dải xác suất (prob-band) -> cho phép/chặn. 5. BỘ THỰC THI giao dịch thử nghiệm (paper) hoặc giao dịch thực tế (live) với quy mô được xác định bởi `position_size()`. 1. Công cụ dữ liệu Kết nối với nguồn cấp dữ liệu của nhà môi giới/sàn giao dịch và chụp nhanh toàn bộ chuỗi quyền chọn theo bộ hẹn giờ. Phải loại bỏ trùng lặp các ảnh chụp nhanh từ nhiều địa điểm, giới hạn độ trễ dưới ngưỡng thời gian ra quyết định và tồn tại qua các khoảng trống dữ liệu mà không cung cấp các báo giá trung bình (mid quotes) cũ cho mô hình. 2. Công cụ đặc trưng Chạy `build_features()` trên ảnh chụp nhanh thô: giá trung bình (mid), phần trăm chênh lệch (spread_pct), mức độ có lời (moneyness), độ lệch IV (iv_skew), PCR, `theta_per_delta`. Dữ liệu xấu sẽ bị loại bỏ tại đây – một mức giá thực hiện không có OI (lãi suất mở) hoặc một báo giá CFD (hợp đồng chênh lệch) tổng hợp sẽ bị loại bỏ trước khi mô hình nhìn thấy. 3. Bộ dự đoán Bộ tăng cường LightGBM đã được huấn luyện xuất ra xác suất tăng giá (`prob_up`) cho mỗi mức giá thực hiện. Không trạng thái tại thời điểm suy luận – `bst.predict(row)` nhiều lần sau một lần `lgb.train`. 4. Bộ lọc (phần mà hầu hết người mới bắt đầu bỏ qua) `def filter(prob_up, greeks, vol_z, max_capital):` ` if not (0.58 <= prob_up <= 0.80):` ` return {}` ` if greeks["dte"] <= 1:` ` return {}` ` if abs(greeks["vega"]) > 8.0:` ` return {}` ` if vol_z > 2.0:` ` max_capital *= 0.5` ` size = (max_capital * 0.01) / max(greeks["theta"], 1e-9)` ` return {"action": "paper_entry", "size": round(size, 2)}` Bộ lọc là yếu tố giúp hệ thống tồn tại trong một chế độ thị trường mà mô hình chưa từng thấy trong quá trình huấn luyện. 5. Bộ thực thi Chuyển tín hiệu được cho phép thành một lệnh có quy mô. Đầu tiên là giao dịch thử nghiệm (ghi lại mọi giao dịch khớp lệnh), sau đó mới là giao dịch thực tế chỉ sau khi được nhà môi giới xem xét. Không bao giờ bỏ qua giai đoạn 4. Khi nào nên chọn LightGBM Bạn huấn luyện hàng ngày trên điện thoại/Raspberry Pi – tốc độ là yếu tố quan trọng → LightGBM. Bạn muốn không có thêm phụ thuộc nào → HistGradientBoostingRegressor.