Google Research đã giới thiệu SensorFM: một mô hình nền tảng sức khỏe đeo được, được huấn luyện trước trên một nghìn tỷ phút dữ liệu cảm biến.

Hầu hết các mô hình sức khỏe đeo được (wearable health models) được xây dựng dựa trên từng kết quả riêng lẻ. Cách tiếp cận đó gặp khó khăn ở 35 điểm cuối (endpoints). Việc gắn nhãn (labels) tốn kém và chú thích hồi cứu (retrospective annotation) là không khả thi. Google Research đã giới thiệu SensorFM, một mô hình nền tảng (foundation model) cho sức khỏe đeo được, được huấn luyện trước trên hơn 1 nghìn tỷ phút dữ liệu cảm biến từ 5 triệu người. https://arxiv.org/pdf/2605.22759 SensorFM là gì? SensorFM là một mô hình nền tảng cảm biến lớn (Large Sensor foundation Model) để học biểu diễn chuỗi thời gian từ thiết bị đeo được. Nó tiếp nhận 34 đặc trưng tổng hợp một phút được lấy từ năm cảm biến: PPG, gia tốc kế (accelerometer), EDA, nhiệt độ da và cao độ kế (altimeter). Các đặc trưng đó được tổ chức thành bảy loại, trong một cửa sổ ngữ cảnh 24 giờ. Cấu trúc chính là một bộ mã hóa ViT-1D được huấn luyện với mục tiêu mã hóa tự động bị che (masked-autoencoder objective) và kích thước vá (patch size) là [20, 1]. Quá trình huấn luyện trước đã sử dụng 5.000.000 người tham gia đã đồng ý, được lấy mẫu từ tháng 9/2024 đến tháng 9/2025. Tập dữ liệu này bao gồm hơn 100 quốc gia, tất cả 50 tiểu bang của Hoa Kỳ và hơn 20 mẫu Fitbit và Pixel Watch. Tổng cộng hơn hai tỷ giờ, hoặc hơn một nghìn tỷ phút. Tồn tại bốn biến thể, mỗi biến thể được ghép nối với một khối lượng dữ liệu tương ứng. Biến thể | Tham số | Bộ mã hóa ẩn / lớp | Dữ liệu tương ứng | Giờ cảm biến ---|---|---|---|--- XXS | 138.740 | 64 / 2 | 5K đối tượng | 2×10⁶ XS | 933.204 | 128 / 4 | 50K đối tượng | 2×10⁷ S | 7.290.068 | 256 / 8 | 500K đối tượng | 2×10⁸ B | 110.763.412 | 768 / 12 | 5M đối tượng | 2×10⁹ Đánh giá sử dụng dữ liệu riêng biệt. Nó bao gồm 13.985 đối tượng trong ba nghiên cứu tiền cứu (prospective studies) được IRB (Institutional Review Board) phê duyệt. Đó là sức khỏe chuyển hóa, tim mạch và hô hấp (N = 1.655), giấc ngủ (N = 6.377) và sức khỏe tâm thần (N = 5.953). 35 tác vụ bao gồm tim mạch (6), chuyển hóa (8), sức khỏe tâm thần (8), giấc ngủ (3), nhân khẩu học (4) và lối sống (6). Trường hợp mở rộng quy mô Với thiết lập đó, câu hỏi đầu tiên là liệu quy mô có mang lại bất kỳ điều gì có thể đo lường được hay không. Nhóm nghiên cứu đã thử nghiệm bốn kích thước mô hình với bốn khối lượng dữ liệu. SensorFM-B trên tập dữ liệu 5M giảm 31% tổn thất xác thực tái tạo (reconstruction validation loss) so với SensorFM-XXS. Tổn thất sinh ra (generative loss) giảm trung bình 28%. Về sau, nó đạt được ΔAUC = 0,09 trong phân loại và Δr = 0,21 trong hồi quy. Trong số các biến thể, B thắng 33 trong số 35 tác vụ, và XXS xếp cuối cùng trong 33 trong số 35 tác vụ. Trường hợp thất bại cũng mang tính thông tin tương tự. SensorFM-B được huấn luyện chỉ trên 5K đối tượng cho thấy tổn thất xác thực là 1,082. Con số này tệ hơn mọi biến thể nhỏ hơn ở cùng khối lượng. Quá trình huấn luyện trước đã dừng sớm vì mô hình bị quá khớp (overfit). https://arxiv.org/pdf/2605.22759 Do đó, tất cả các kết quả chính đều giả định khối lượng dữ liệu được mở rộng tỷ lệ với dung lượng. Dọc theo đường chéo được mở rộng đồng bộ đó, ROC AUC trung bình di chuyển .664, .681, .710, .752. Pearson r trung bình di chuyển .386, .435, .536, .612. Hình trên cho thấy xu hướng chưa bão hòa. AIM: Xử lý dữ liệu bị thiếu dưới dạng tín hiệu Chỉ riêng việc mở rộng quy mô không giải thích được những con số đó. Các luồng dữ liệu thực tế bị phân mảnh trong quá trình sạc, thời gian không đeo và chế độ tiết kiệm năng lượng. Các phương pháp thông thường hoặc là điền vào các khoảng trống, gây ra sai lệch, hoặc là bỏ qua các cửa sổ, làm mất dữ liệu. Thay vào đó, SensorFM sử dụng Mặt nạ thích ứng và kế thừa (Adaptive and Inherited Masking - AIM), được giới thiệu bởi Xu và cộng sự trong LSM-2. Mặt nạ được áp dụng là sự kết hợp của mặt nạ thiếu sót kế thừa và mặt nạ nhân tạo. Tổn thất chỉ được tính toán trên các vá được che nhân tạo có dữ liệu gốc (ground truth). Việc che mã thông báo hai giai đoạn, sử dụng bỏ mã thông báo (token dropout) và che chú ý (attention masking), giúp việc này hiệu quả. Vì bộ giải mã học cách tái tạo các quan sát bị loại bỏ, việc điền vào và dự báo trở nên dễ dàng. Tái tạo MSE trên tập kiểm định, giá trị càng thấp càng tốt. So với phương pháp cơ sở tốt nhất, SensorFM cải thiện 74,8% đối với phép nội suy ngẫu nhiên. Phép nội suy tín hiệu cảm biến cải thiện 83,7%. Thực hành: Điều chỉnh các Embedding Việc chuyển đổi biểu diễn thành dự đoán rất đơn giản. Bộ mã hóa vẫn được giữ nguyên. Các embedding được tổng hợp cho mỗi cá nhân, sử dụng giá trị trung bình và độ lệch chuẩn qua các ngày. Chúng được giảm xuống còn 50 thành phần chính. Sau đó, một đầu tuyến tính được huấn luyện theo phương pháp kiểm định chéo 5 lần, độc lập với từng cá nhân. Sao chép mã đã sao chépSử dụng trình duyệt khác import numpy as np from sklearn.decomposition import PCA from sklearn.linear_model import LogisticRegression from sklearn.model_selection import StratifiedKFold from sklearn.metrics import roc_auc_score def person_level(emb, pid): """Gộp các embedding cấp độ ngày thành một vector cho mỗi người tham gia.""" people = np.unique(pid) feats = [] for p in people: e = emb[pid == p] # (số_ngày, d) feats.append(np.concatenate([e.mean(axis=0), e.std(axis=0)])) return np.nan_to_num(np.stack(feats)), people # pandas std() là NaN khi chỉ có 1 ngày X, people = person_level(emb, pid) # emb: các embedding SensorFM đã cố định y = labels[people] # một nhãn cho mỗi người tham gia aucs = [] for tr, te in StratifiedKFold(5, shuffle=True, random_state=0).split(X, y): pca = PCA(n_components=50).fit(X[tr]) # PCA-50, huấn luyện chỉ trên tập huấn luyện clf = LogisticRegression(max_iter=400) # bài báo: AdamW, lr 5e-3, wd 1e-4, 400 bước clf.fit(pca.transform(X[tr]), y[tr]) p = clf.predict_proba(pca.transform(X[te]))[:, 1] aucs.append(roc_auc_score(y[te], p)) print(np.mean(aucs)) Phương pháp thăm dò tuyến tính này vượt trội hơn phương pháp cơ sở được thiết kế tính năng có giám sát trên 34 trong số 35 tác vụ. Kết quả chọn lọc như sau. Tác vụThước đoChỉ thông tin nhân khẩu họcKỹ thuật tính năngSensorFM-BAger–.662.920Thuốc điều trị sức khỏe tâm thầnROC.594.773.819PHQ-8r.303.354.450Kháng InsulinROC.717.710.761Chẩn đoán tăng huyết ápROC.762.747.786Nguy cơ Framingham 30r.782.592.714 Hàng cuối cùng không phải là ngoại lệ. Điểm ASCVD và Framingham được tính toán từ các đặc điểm nhân khẩu học. Do đó, các mô hình chỉ dựa trên nhân khẩu học chiến thắng theo cấu trúc. Nhóm nghiên cứu báo cáo SensorFM tốt nhất trên 31 trong số 35 tác vụ, không phải tất cả. Hai lưu ý nằm trong cùng các bảng. Dữ liệu nhân khẩu học vẫn hỗ trợ SensorFM trên 22 trong số 30 tác vụ, mặc dù mức độ cải thiện giảm theo quy mô. Trong các chế độ nhãn rất thấp, các tiên nghiệm nhân khẩu học vẫn mạnh mẽ. Lớp học Agentic