Mellum2 Trở Thành Mã Nguồn Mở: Một Mô Hình Nhanh Chóng Cho Quy Trình Làm Việc AI

JetBrains AI Tăng cường sức mạnh cho các công cụ của bạn với các tính năng hỗ trợ AI trong nhiều sản phẩm của JetBrains. Theo dõi Theo dõi: RSS RSS Khám phá thêm Tất cả Tin tức Hướng dẫn AI trong IDE Nghiên cứu Tin tức Phát hành Mellum2 trở thành mã nguồn mở: Một mô hình nhanh cho các quy trình làm việc AI Anton Semenkin Nikita Pavlichenko Đọc bài viết này bằng các ngôn ngữ khác: Deutsch , Español , Français , 日本語 , 한국어 , 简体中文 , Português Được đào tạo từ đầu và thiết kế để triển khai thực tế, Mellum2 được xây dựng cho việc định tuyến, hỏi đáp (Q&A), các tác nhân phụ và sử dụng AI riêng tư trong các hệ thống kỹ thuật phần mềm. Hôm nay, chúng tôi công bố mã nguồn mở Mellum2, một mô hình 12B được thiết kế để giải quyết những phần khó nhất của AI sản xuất: độ trễ, thông lượng và chi phí. Được xây dựng từ đầu và phát hành theo giấy phép Apache 2.0, Mellum2 cung cấp một giải pháp thay thế hiệu suất cao, tiết kiệm chi phí cho cơ sở hạ tầng của bạn. Mellum bắt đầu với tính năng hoàn thành mã; hiện tại chúng tôi đã phát triển nó để xử lý cả ngôn ngữ tự nhiên và mã. Giờ đây, nó là một công cụ đa năng sẵn sàng hỗ trợ định tuyến, tóm tắt và các bước suy luận trung gian trong các quy trình làm việc AI hiện đại của bạn. Dù bạn muốn thử nghiệm, tinh chỉnh hay triển khai ở quy mô lớn, Mellum2 đều sẵn sàng chạy trong các hệ thống của riêng bạn. Thử Mellum Kiến trúc và hiệu suất Mellum2 được thiết kế để giải quyết các nút thắt cổ chai của các hệ thống quy mô sản xuất thông qua kiến trúc và thiết kế tập trung, hướng đến hiệu quả. Thiết kế Mixture-of-Experts (MoE): Mô hình có tổng cộng 12 tỷ tham số, nhưng do sử dụng thiết kế MoE, chỉ 2,5 tỷ tham số hoạt động trên mỗi token. Điều này giúp giảm chi phí tính toán đồng thời cho phép suy luận thông lượng cao, độ trễ thấp cho các tác vụ thời gian thực. Tập trung chuyên biệt: Không giống như nhiều mô hình hiện đại, Mellum2 không phải là đa phương thức. Nó được đào tạo đặc biệt trên dữ liệu ngôn ngữ tự nhiên và mã. Sự chuyên biệt này đảm bảo mô hình vượt trội trong môi trường kỹ thuật phần mềm trong khi vẫn giữ được sự tinh gọn và tốc độ. Trong báo cáo kỹ thuật của chúng tôi, chúng tôi trình bày chi tiết hiệu suất của mô hình trên các tiêu chuẩn tạo mã, khoa học, toán học và suy luận. Mellum2 cạnh tranh với các mô hình có kích thước tương tự khác trong khi giảm thời gian suy luận xuống chưa đến một nửa – một lợi thế rõ ràng cho các triển khai cấp sản xuất. Các trường hợp sử dụng chính của Mellum2 Định tuyến và điều phối các tác vụ AI: Sử dụng Mellum2 để phân tích các lời nhắc đến và giúp chọn mô hình hoặc công cụ phù hợp cho từng tác vụ. Xây dựng các đường ống RAG có độ trễ thấp: Truy xuất ngữ cảnh liên quan, sử dụng Mellum2 để tóm tắt và tạo phản hồi ngay lập tức. Cung cấp năng lượng cho các tác nhân phụ nhanh trong các quy trình làm việc phức tạp: Chia nhỏ các đường ống tác nhân thành các bước như thu thập ngữ cảnh, lập kế hoạch và xác thực. Sử dụng Mellum2 cho các tác vụ chuyên biệt, nhanh chóng thay vì dựa vào một mô hình lớn duy nhất. Cho phép triển khai AI riêng tư, cục bộ: Chạy Mellum2 cục bộ hoặc tự lưu trữ để giữ mã và dữ liệu hoàn toàn dưới sự kiểm soát của bạn. Triết lý "mô hình trọng tâm": Tại sao các mô hình tập trung mở rộng quy mô tốt hơn Khi các hệ thống AI trở nên phức tạp hơn, các nút thắt cổ chai về hiệu suất chuyển từ khả năng thô sang độ trễ, thông lượng và chi phí ở quy mô lớn. Không phải mọi tác vụ đều yêu cầu mô hình lớn nhất. Nhiều bước trong các hệ thống AI hiện đại mang tính lặp lại, nhạy cảm với độ trễ và tần suất cao. Các bước này được hưởng lợi từ một mô hình nhanh và đáng tin cậy có thể được định tuyến, lưu trữ và kiểm soát hiệu quả. Tại JetBrains, chúng tôi tin rằng tương lai thuộc về các hệ thống phối hợp, không phải các mô hình đơn lẻ. Các mô hình tiên phong sẽ tiếp tục vượt qua giới hạn, nhưng các sản phẩm AI thực tiễn cũng yêu cầu các mô hình trọng tâm: các thành phần chuyên biệt, nhanh chóng, xử lý hiệu quả các tác vụ tần suất cao. Đó là vai trò mà chúng tôi nhìn thấy ở Mellum2 trong thế hệ công cụ phần mềm AI tiếp theo. Bắt đầu với Mellum2 Nếu bạn đang xây dựng các hệ thống AI cho kỹ thuật phần mềm – dù trong một IDE, trong một quy trình RAG, như một phần của quy trình tác nhân, hay hoàn toàn trên cơ sở hạ tầng của riêng bạn – chúng tôi rất mong bạn thử Mellum2. Mã nguồn mở là cách các công cụ tốt hơn được tạo ra. Thử Mellum AI Mellum mã nguồn mở Chia sẻ Facebook Twitter Linkedin Bài viết trước Cách chúng tôi sử dụng AlphaEvolve để làm cho các thuật toán IDE phức tạp nhanh hơn Đăng ký nhận cập nhật từ Blog AI của JetBrains Biểu mẫu đăng ký Bằng cách gửi biểu mẫu này, tôi đồng ý với Chính sách quyền riêng tư của JetBrains Biểu tượng thông báo Bằng cách gửi biểu mẫu này, tôi đồng ý rằng JetBrains s.r.o. ("JetBrains") có thể sử dụng tên, địa chỉ email và dữ liệu vị trí của tôi để gửi cho tôi các bản tin, bao gồm các thông tin thương mại, và để xử lý dữ liệu cá nhân của tôi cho mục đích này. Tôi đồng ý rằng JetBrains có thể xử lý dữ liệu đã nói bằng cách sử dụng các dịch vụ của bên thứ ba cho mục đích này theo Chính sách quyền riêng tư của JetBrains. Tôi hiểu rằng tôi có thể thu hồi sự đồng ý này bất cứ lúc nào trong hồ sơ của mình. Ngoài ra, một liên kết hủy đăng ký được bao gồm trong mỗi email. Gửi Cảm ơn, chúng tôi đã nhận được thông tin của bạn! Khám phá thêm Các tính năng AI thử nghiệm cho JetBrains IDEs: Tóm tắt và Thông tin chi tiết Giới thiệu tóm tắt và thông tin chi tiết, hai tính năng AI thử nghiệm chủ động giúp bạn hiểu hoạt động gần đây và mã không rõ ràng trong dự án của mình. Anna Maltseva Cursor đã tham gia Sổ đăng ký ACP và hiện đã có mặt trong JetBrains IDE của bạn Cursor hiện có sẵn dưới dạng một tác nhân AI bên trong JetBrains IDEs thông qua Giao thức máy khách tác nhân (Agent Client Protocol). Jan-Niklas Wortmann Quản lý và phân tích AI nâng cao cho các tổ chức Chúng tôi đang giới thiệu JetBrains Console, cung cấp quản lý và phân tích AI nâng cao cho các tổ chức, bao gồm các khả năng mới để quản lý, quan sát và kiểm soát việc sử dụng và chi phí AI trên các nhóm. Viktor Kiselev Koog x ACP: Kết nối một tác nhân với IDE của bạn và hơn thế nữa Hướng dẫn từng bước về cách đưa tác nhân Koog tùy chỉnh của bạn vào IDE với tích hợp ACP × Koog gốc Maria Tigina