Tokenwise là một công ty khởi nghiệp (startup) chuyên về trí tuệ nhân tạo (AI) được thành lập bởi các cựu kỹ sư của Google DeepMind và Google Brain. Công ty này tập trung vào việc phát triển các mô hình ngôn ngữ lớn (LLM) hiệu quả hơn, đặc biệt là trong việc xử lý các tác vụ liên quan đến mã nguồn. Tokenwise đã huy động được 4 triệu USD trong vòng gọi vốn hạt giống (seed funding round) từ các nhà đầu tư nổi tiếng như Lightspeed Venture Partners, Samsung Next và một số nhà đầu tư thiên thần (angel investors) khác. Số vốn này sẽ được sử dụng để mở rộng đội ngũ kỹ sư và đẩy nhanh quá trình phát triển sản phẩm. Mục tiêu chính của Tokenwise là giải quyết vấn đề "cửa sổ ngữ cảnh" (context window) giới hạn của các LLM hiện tại. Cửa sổ ngữ cảnh là lượng thông tin mà một mô hình có thể xử lý cùng lúc. Với các tác vụ phức tạp như phân tích mã nguồn lớn, việc mở rộng cửa sổ ngữ cảnh là rất quan trọng để mô hình có thể hiểu và tạo ra kết quả chính xác hơn. Tokenwise đang phát triển một kiến trúc LLM mới, được thiết kế để xử lý hiệu quả các chuỗi đầu vào dài hơn, đặc biệt là mã nguồn. Công nghệ này hứa hẹn sẽ giúp các nhà phát triển AI tạo ra các ứng dụng mạnh mẽ hơn, từ việc tự động hoàn thành mã (code completion) đến việc gỡ lỗi (debugging) và tạo tài liệu (documentation generation). Công ty cũng đang nghiên cứu các phương pháp để giảm chi phí tính toán và năng lượng cần thiết để vận hành các LLM lớn, một thách thức lớn trong ngành AI hiện nay. Bằng cách tối ưu hóa kiến trúc mô hình và quy trình huấn luyện, Tokenwise hy vọng sẽ làm cho công nghệ LLM trở nên dễ tiếp cận và bền vững hơn. Tokenwise dự kiến sẽ ra mắt sản phẩm đầu tiên vào cuối năm nay, nhắm đến các nhà phát triển và doanh nghiệp đang tìm kiếm các giải pháp AI tiên tiến để cải thiện quy trình phát triển phần mềm của họ.