Dưới đây là bản dịch của văn bản đã cho:
Các nhà nghiên cứu tại Đại học Carnegie Mellon đã phát triển một phương pháp mới để tạo ra các mô hình ngôn ngữ lớn (LLM) nhỏ hơn, hiệu quả hơn, có thể chạy trên các thiết bị có tài nguyên hạn chế. Phương pháp này, được gọi là "Knowledge Distillation with Contrastive Learning" (KDCL), kết hợp hai kỹ thuật học máy mạnh mẽ để chuyển giao kiến thức từ một LLM lớn, phức tạp sang một LLM nhỏ hơn, đơn giản hơn.
KDCL hoạt động bằng cách huấn luyện LLM nhỏ hơn để bắt chước hành vi của LLM lớn hơn. Điều này được thực hiện bằng cách sử dụng một tập dữ liệu gồm các cặp đầu vào-đầu ra, trong đó đầu vào được đưa vào cả hai LLM và đầu ra của LLM lớn hơn được sử dụng làm "nhãn vàng" cho LLM nhỏ hơn. Ngoài ra, KDCL sử dụng học tương phản để đảm bảo rằng LLM nhỏ hơn không chỉ bắt chước đầu ra của LLM lớn hơn mà còn học được các mối quan hệ cơ bản giữa các từ và cụm từ.
Các nhà nghiên cứu đã thử nghiệm KDCL trên một loạt các tác vụ xử lý ngôn ngữ tự nhiên (NLP), bao gồm tóm tắt văn bản, dịch máy và trả lời câu hỏi. Họ phát hiện ra rằng các LLM nhỏ hơn được huấn luyện bằng KDCL đạt được hiệu suất tương đương với các LLM lớn hơn, nhưng với số lượng tham số ít hơn đáng kể. Điều này có nghĩa là các LLM nhỏ hơn có thể được triển khai trên các thiết bị có tài nguyên hạn chế, chẳng hạn như điện thoại thông minh và thiết bị biên, mà không làm giảm hiệu suất.
Việc phát triển KDCL có ý nghĩa quan trọng đối với tương lai của AI. Bằng cách cho phép tạo ra các LLM nhỏ hơn, hiệu quả hơn, KDCL có thể giúp dân chủ hóa quyền truy cập vào công nghệ AI và làm cho nó dễ tiếp cận hơn với nhiều người dùng và ứng dụng hơn.
Dưới đây là một số lợi ích chính của KDCL:
* **Giảm kích thước mô hình:** KDCL có thể giảm đáng kể kích thước của LLM, giúp chúng dễ dàng triển khai trên các thiết bị có tài nguyên hạn chế hơn.
* **Cải thiện hiệu quả:** Các LLM nhỏ hơn được huấn luyện bằng KDCL hiệu quả hơn về mặt tính toán, có nghĩa là chúng yêu cầu ít năng lượng và tài nguyên hơn để chạy.
* **Hiệu suất tương đương:** Mặc dù có kích thước nhỏ hơn, các LLM được huấn luyện bằng KDCL có thể đạt được hiệu suất tương đương với các LLM lớn hơn trên nhiều tác vụ NLP.
* **Khả năng tiếp cận:** KDCL có thể giúp dân chủ hóa quyền truy cập vào công nghệ AI bằng cách làm cho nó dễ tiếp cận hơn với nhiều người dùng và ứng dụng hơn.
KDCL là một bước tiến đầy hứa hẹn trong lĩnh vực AI. Bằng cách cho phép tạo ra các LLM nhỏ hơn, hiệu quả hơn, KDCL có thể giúp mở khóa các khả năng mới cho AI và làm cho nó trở thành một công cụ mạnh mẽ hơn nữa để giải quyết các vấn đề trong thế giới thực.
Paperium
Đăng ngày 6/6
• Ban đầu được xuất bản tại paperium.net
RoentGen: Mô hình nền tảng thị giác-ngôn ngữ để tạo ảnh X-quang ngực
#ai
#deeplearning
#computerscience
#machinelearning
AI (Loạt 3478 phần)
1
Học tập tác nhân thông qua kinh nghiệm ban đầu
2
MM-HELIX: Tăng cường suy luận phản chiếu chuỗi dài đa phương thức với nền tảng toàn diện và tối ưu hóa chính sách lai thích ứng
...
3474 phần khác...
3
MemMamba: Suy nghĩ lại các mẫu bộ nhớ trong mô hình không gian trạng thái
4
UniVideo: Hiểu, tạo và chỉnh sửa thống nhất cho video
5
VideoCanvas: Hoàn thiện video thống nhất từ các bản vá không-thời gian tùy ý thông qua điều kiện theo ngữ cảnh
6
DreamOmni2: Chỉnh sửa và tạo dựa trên hướng dẫn đa phương thức
7
Từ cái gì đến tại sao: Một hệ thống đa tác nhân để suy luận điều kiện phản ứng hóa học dựa trên bằng chứng
8
Nhận thức siêu cấp tăng cường các mô hình suy luận: Học tăng cường tự căn chỉnh
9
Khi suy nghĩ gặp sự thật: Suy luận có thể tái sử dụng cho các mô hình ngôn ngữ lớn (LLM) ngữ cảnh dài
10
Các token có xác suất thấp duy trì khám phá trong học tăng cường với phần thưởng có thể kiểm chứng
11
Vũ điệu căn chỉnh: Đào tạo chung các tác nhân để hợp tác vì sự an toàn
12
Tối ưu hóa chính sách tương đối nhóm không cần đào tạo
13
Tăng cường lai: Khi phần thưởng thưa thớt, tốt hơn là nên dày đặc
14
NewtonBench: Đánh giá khám phá luật khoa học tổng quát trong các tác nhân LLM
15
ARTDECO: Hướng tới tái tạo 3D hiệu quả và độ trung thực cao tức thì với biểu diễn cảnh có cấu trúc
16
DeepPrune: Mở rộng song song không có sự dư thừa giữa các dấu vết
17
Lần thử đầu tiên quan trọng: Xem xét lại vai trò của sự phản ánh trong các mô hình suy luận
18
LLM học cách lừa dối một cách vô ý: Sự sai lệch xuất hiện trong sự không trung thực từ các mẫu sai lệch đến tương tác người-AI thiên vị
19
UniMMVSR: Một khung đa phương thức thống nhất cho siêu phân giải video xếp tầng
20
NaViL: Suy nghĩ lại các thuộc tính mở rộng của các mô hình ngôn ngữ lớn đa phương thức gốc dưới các ràng buộc dữ liệu
21
CoMAS: Các hệ thống đa tác nhân đồng tiến hóa thông qua phần thưởng tương tác
22
PickStyle: Chuyển đổi kiểu video sang video với bộ điều hợp ngữ cảnh-kiểu
23
UNIDOC-BENCH: Một điểm chuẩn thống nhất cho RAG đa phương thức tập trung vào tài liệu
24
InstructX: Hướng tới chỉnh sửa hình ảnh thống nhất với hướng dẫn MLLM
25
LongRM: Tiết lộ và mở khóa ranh giới ngữ cảnh của mô hình phần thưởng
26
Học trong công việc: Một tác nhân tự tiến hóa dựa trên kinh nghiệm cho các nhiệm vụ dài hạn
27
Tăng cường các mô hình khuếch tán bằng cách tối ưu hóa ưu tiên nhóm trực tiếp
28
Kiểm soát việc tạo video chuyển văn bản thành âm thanh thông qua điều kiện và tương tác phương thức nâng cao
29
Kích hoạt điều hòa Entropy: Tăng cường kiểm soát liên tục, các mô hình ngôn ngữ lớn và phân loại hình ảnh với kích hoạt là
30
Truy xuất và củng cố bộ nhớ trong các mô hình ngôn ngữ lớn thông qua các token chức năng
31
Tái chế các điểm kiểm tra được đào tạo trước: Tăng trưởng trực giao của hỗn hợp chuyên gia để đào tạo trước mô hình ngôn ngữ lớn hiệu quả
32
GCPO: Khi độ tương phản thất bại, hãy chọn vàng
33
UP2You: Tái tạo nhanh chóng bản thân từ các bộ sưu tập ảnh không giới hạn
34
OmniRetarget: Tạo dữ liệu bảo toàn tương tác cho thao tác di chuyển toàn thân hình người và tương tác cảnh
35
DexNDM: Thu hẹp khoảng cách thực tế cho xoay trong tay khéo léo thông qua mô hình động lực học thần kinh khớp
36. A^2Search: Trả lời câu hỏi nhận biết sự mơ hồ bằng học tăng cường.
37. Học cách định tuyến các mô hình ngôn ngữ lớn (LLM) từ phản hồi Bandit: Một chính sách, nhiều đánh đổi.
38. Search-R3: Thống nhất suy luận và tạo nhúng trong các mô hình ngôn ngữ lớn.
39. R2RGEN: Tạo dữ liệu 3D từ thực tế sang thực tế để thao tác tổng quát hóa không gian.
40. Drive&Gen: Đồng đánh giá các mô hình lái xe đầu cuối và tạo video.
41. Vượt ra ngoài các giá trị ngoại lai: Một nghiên cứu về các bộ tối ưu hóa dưới lượng tử hóa.
42. SViM3D: Khuếch tán vật liệu video ổn định để tạo 3D từ một hình ảnh.
43. GyroSwin: Các mô hình thay thế 5D cho mô phỏng nhiễu loạn plasma Gyrokinetic.
44. Hướng tới chỉnh sửa 3D có thể mở rộng và nhất quán.
45. Sử dụng mạng trực tuyến nếu có thể: Hướng tới học tăng cường nhanh và ổn định.
46. Thành phần dữ liệu nhận biết độ trung thực để tổng quát hóa robot mạnh mẽ.
47. SciVideoBench: Đánh giá suy luận video khoa học trong các mô hình đa phương thức lớn.
48. Khuếch tán quy mô lớn thông qua tính nhất quán thời gian liên tục được điều hòa điểm số.
49. Vượt qua giới hạn lượt: Huấn luyện các tác nhân tìm kiếm sâu với cửa sổ ngữ cảnh động.
50. OpenRubrics: Hướng tới tạo tiêu chí tổng hợp có thể mở rộng để mô hình hóa phần thưởng và căn chỉnh LLM.
51. Tư duy bằng camera: Một mô hình đa phương thức thống nhất để hiểu và tạo lấy camera làm trung tâm.
52. D2E: Mở rộng tiền huấn luyện thị giác-hành động trên dữ liệu máy tính để chuyển sang AI thể hiện.
53. TAG: Hướng dẫn khuếch đại tiếp tuyến để lấy mẫu khuếch tán chống ảo giác.
54. Tối ưu hóa lời nhắc đa phương thức: Tại sao không tận dụng nhiều phương thức cho MLLM.
55. AutoPR: Hãy tự động hóa việc thăng tiến học thuật của bạn!
56. R-Horizon: Mô hình suy luận lớn của bạn thực sự có thể đi được bao xa về chiều rộng và chiều sâu?
57. Webscale-RL: Đường ống dữ liệu tự động để mở rộng dữ liệu RL đến cấp độ tiền huấn luyện.
58. SpaceVista: Suy luận không gian trực quan mọi quy mô từ mm đến km.
59. StreamingVLM: Hiểu biết thời gian thực cho các luồng video vô hạn.
60. Đừng lãng phí sai lầm: Tận dụng các nhóm RL tiêu cực thông qua điều chỉnh trọng số độ tin cậy.
61. ARES: Suy luận thích ứng đa phương thức thông qua định hình entropy cấp mã thông báo nhận biết độ khó.
62. KORMo: Mô hình suy luận mở tiếng Hàn cho mọi người.
63. DISCO: Đa dạng hóa cô đặc mẫu để đánh giá mô hình hiệu quả.
64. Kết nối suy luận với học tập: Làm sáng tỏ ảo ảnh bằng cách tổng quát hóa độ phức tạp ngoài phân phối.
65. Biến đổi Gaussian lũy tiến với nhận biết dị hướng Sa.
Nguồn tin: Dev.to Machine Learning — Tác giả: Paperium. Bản dịch tiếng Việt do AI thực hiện, có thể có sai sót.
