Tôi thực sự có thể làm gì với một mô hình ngôn ngữ nhỏ?

--> Tôi thực sự có thể làm gì với một mô hình ngôn ngữ nhỏ? - KDnuggets --> Blog Bài viết hàng đầu Giới thiệu chủ đề trí tuệ nhân tạo Lời khuyên nghề nghiệp Thị giác máy tính Kỹ thuật dữ liệu Khoa học dữ liệu Mô hình ngôn ngữ Học máy MLOps NLP Lập trình Python SQL Bộ dữ liệu Sự kiện Tài nguyên Bảng cheat Khuyến nghị Tóm tắt công nghệ Quảng cáo Tham gia bản tin Tôi thực sự có thể làm gì với một mô hình ngôn ngữ nhỏ? Nhưng bằng cách ghi nhớ những giới hạn này và lập kế hoạch cho chúng, chúng tôi có thể sử dụng hiệu quả các mô hình cục bộ nhỏ này cho các kịch bản hoạt động rộng lớn sau đây. Bởi Matthew Mayo, Tổng biên tập KDnuggets vào ngày 17 tháng 8 năm 2026 trong Mô hình ngôn ngữ --> Phản đối phổ biến nhất khi chạy mô hình ngôn ngữ nhỏ (SLM) là nó không biết đủ, một phản đối không được hiệu chỉnh tốt. Trên thực tế, không có mô hình nào trên thị trường là nơi lưu trữ thông tin đáng tin cậy và điểm chuẩn năng lực tổng thể hóa ra không dự đoán được độ tin cậy của dữ liệu. Hai biện pháp này không tương quan với nhau. Chắc chắn là một mô hình nhỏ hơn biết ít hơn một mô hình lớn, nhưng hóa ra "biết ít hơn" không phải là một thước đo được sử dụng nhiều. Nếu khả năng không phải là lý do để chạy một mô hình trên phần cứng của riêng bạn, thì có lý do khác, và có ba ứng cử viên: dữ liệu không thể rời khỏi tòa nhà; khối lượng bạn đã thanh toán; và độ trễ đó là toàn bộ sản phẩm. Mỗi công việc này yêu cầu một loại công việc cụ thể mà một mô hình có sẵn có đủ năng lực với tám tỷ thông số trở xuống (mức trần thô cho một phần cứng không chuyên dụng mà bạn đã sở hữu) chắc chắn xử lý tốt hiện nay mà không cần tinh chỉnh. Hãy xem chính xác những gì chúng ta có thể thực hiện được trên thực tế với một mô hình nhỏ. Mô hình nhỏ thực sự tệ ở khoản nào Có ba giới hạn SLM cấp cao nhất là rất thực tế. Lý luận mở rộng phải gắn kết với nhau. Khoảng cách giữa các mô hình nhỏ và mô hình biên giới là lớn nhất trong toán học khó và trong việc tạo mã phức tạp, đồng thời đó là khoảng cách ít có khả năng chứng kiến ​​nhiều chuyển động nhất ở phía mô hình nhỏ. Một mô hình mất chủ đề ở bước bảy trong kế hoạch mười hai bước mà nó đang thực hiện sẽ không được giải cứu bằng lời nhắc tốt hơn. Thu hồi là giới hạn thứ hai. Kiến thức tham số, là bất cứ điều gì mô hình đã học và ghi nhớ từ quá trình đào tạo, bị đóng băng ở mức giới hạn, không thể cập nhật một cách có chọn lọc và phân rã từ miền này sang miền tiếp theo. Một mô hình nhỏ đơn giản là có ít thứ hơn để bắt đầu, do đó, nó dễ dàng tạo ảo giác hơn cho các câu hỏi trong đó dữ liệu đào tạo còn ít, bao gồm các API thích hợp, quy định khu vực và bất kỳ điều gì đã thay đổi vào năm ngoái. Bối cảnh hiệu quả là giới hạn thứ ba. Nó cũng có thể gây rắc rối nhất vì nó vô hình. Bối cảnh hiệu quả thường thấp hơn nhiều so với con số được chia sẻ trên thẻ mô hình và các mô hình có thể trở nên không đáng tin cậy khi đạt tới 40% thời lượng được quảng cáo này. Nói một cách dễ hiểu, sự xuống cấp có thể xảy ra đột ngột thay vì giảm dần. Vật chất bị chôn vùi ở giữa một thời gian dài là điều tồi tệ nhất. Độ chính xác khi truy xuất giảm đối với nội dung nằm trong khoảng từ 30 đến 70% chặng đường - đây là biểu hiện của vấn đề bị mất ở giữa. Phần đầu và phần cuối của cửa sổ ngữ cảnh có xu hướng tồn tại tương đối tốt. Như vậy, đây là một đặc điểm lừa đảo khác. Nhưng bằng cách ghi nhớ những giới hạn này và lập kế hoạch cho chúng, chúng tôi có thể sử dụng hiệu quả các mô hình cục bộ nhỏ này cho các kịch bản hoạt động rộng lớn sau đây. Công việc không thể rời khỏi máy Bạn sẽ không ngạc nhiên khi một số dữ liệu không được phép chuyển sang bên thứ ba. Đây có thể là bí mật hoạt động hoặc dữ liệu quan trọng đối với doanh nghiệp. Nó cũng có thể ở dạng ghi chú lâm sàng, hồ sơ nhân sự đang được điều tra hoặc tài liệu khách hàng được đặc quyền hoặc quy định. Trong trường hợp đó, lập luận về khả năng không còn quan trọng nữa vì mô hình tốt hơn không phải là một lựa chọn ở bất kỳ mức giá nào. Bạn không lựa chọn giữa một mô hình nhỏ và một mô hình lớn. Bạn đang lựa chọn giữa một mô hình nhỏ và không có gì cả. Nhiệm vụ hỗ trợ tốt nhất này là cấu trúc tài liệu - biến một đống văn bản phi cấu trúc thành các bản ghi mà bạn thực sự có thể truy vấn (bảng, bảng tính, hàng trong cơ sở dữ liệu). Đọc báo cáo, phát ra các trường. Đầu ra là một hàng chứ không phải một bài luận. Điều khiến tính năng này hoạt động được trên phần cứng khiêm tốn là phần cứng đã được chuyển ra khỏi mô hình. Việc giải mã bị ràng buộc bởi lược đồ sẽ thực hiện công việc mang tính cấu trúc: ở mỗi bước, mọi mã thông báo vi phạm lược đồ được cung cấp sẽ bị che đi, do đó mô hình chỉ có thể phát ra kết quả phân tích cú pháp. Đầu ra không đúng định dạng không còn khả năng xảy ra về mặt thống kê và trở nên không thể thực hiện được về mặt cơ học. Phần còn lại của mô hình là việc đọc - hay còn gọi là quyết định khoảng văn bản nào thuộc về lĩnh vực nào - và việc đọc là điều mà các mô hình nhỏ thực sự giỏi. Nó khái quát hóa một nhiệm vụ này: những công việc mà một mô hình nhỏ xử lý tốt là những công việc mà phần cứng đã được chuyển ra ngoài mô hình. Sự phức tạp của lược đồ là kẻ thù của bạn ở đây. Một lược đồ phẳng gồm hàng chục trường chuỗi được xử lý dễ dàng nhưng tính tuân thủ sẽ giảm đi khi các lược đồ bắt đầu lồng vào nhau (các đối tượng bên trong các đối tượng, mỗi đối tượng có khóa riêng). Bạn sẽ không ngạc nhiên khi SLM bị ảnh hưởng không tương xứng trong tình huống như vậy. Phản ứng thực tế là giữ cho các lược đồ phẳng và chạy tài liệu hai lần thay vì lồng một lần: lượt đầu tiên lấy dữ liệu, lượt thứ hai đào sâu vào phần lồng. Điều chỉnh số lượng đường chuyền để phù hợp với độ sâu lồng nhau. Và lưu ý rằng không có điều nào trong số này thực sự làm bạn chậm lại khi máy tính thuộc về bạn. Tồn đọng chạy qua đêm Ràng buộc thứ hai là số học. Chi phí của mô hình biên giới trên mỗi mục không liên quan khi bạn đang xử lý 40 tài liệu nhưng có thể rất cao khi bạn xử lý 400.000 tài liệu. Nó không phải là chữ s