Bài trình bày: Từ hàng nghìn đến một: Xây dựng hệ thống tuyển chọn dựa trên LLM

Trang chủ InfoQ Bài thuyết trình Từ hàng nghìn thành một: Xây dựng hệ thống tuyển chọn dựa trên LLM AI, ML & Kỹ thuật dữ liệu Từ hàng nghìn thành một: Xây dựng hệ thống tuyển chọn dựa trên LLM thích Danh sách đọc Xem bản trình bày Dọc ngang Đầy đủ Tốc độ: 1x 1,25 lần 1,5 lần 2x Tải xuống Trang trình bày 45:57 Tóm tắt Jendrik Jördening chia sẻ các chiến lược kỹ thuật thực tế để tích hợp LLM vào quy trình sản xuất. Ông thảo luận về việc khắc phục chủ nghĩa không xác định, hạn chế lược đồ, tách trích xuất văn bản ngữ nghĩa khỏi mã xác định và xác thực các lựa chọn bằng cách sử dụng các mô hình phân biệt đối xử. Tìm hiểu cách cấu trúc LLM bằng cách tiếp cận MVC để đảm bảo tính toàn vẹn của cơ sở dữ liệu, khả năng quan sát và độ tin cậy của hệ thống. Tiểu sử Jendrik Jördening là CTO tại Nooxit, nơi ông đang phát triển các thuật toán ML, cơ sở hạ tầng MLOps và quản lý các cụm Kubernetes nội bộ. Trước đây anh từng làm việc tại Aurubis và Akka Germany về Khoa học dữ liệu và Học sâu trong lĩnh vực công nghiệp 4.0 và máy tự động. Về hội nghị Hội nghị phát triển phần mềm InfoQ Dev Summit Munich tập trung vào những thách thức quan trọng về phần mềm mà các nhóm phát triển cấp cao phải đối mặt hiện nay. Nhận được những hiểu biết sâu sắc về kỹ thuật có giá trị trong thế giới thực từ hơn 20 nhà phát triển phần mềm cao cấp, kết nối với các diễn giả và đồng nghiệp cũng như tận hưởng các sự kiện xã hội. bảng điểm Jendrik Jordening: Tôi thực sự muốn nói về việc làm thế nào tôi có thể chọn bằng LLM, điều này bắt nguồn từ đâu? Chúng tôi đang tự động hóa các nhiệm vụ liên quan đến mua sắm và điều đó liên quan nhiều đến việc chọn trung tâm chi phí chịu trách nhiệm về chi phí. Giống như bạn thực sự cần một ID trong cơ sở dữ liệu. Khi chúng tôi bắt đầu, mọi chuyện đều tốt đẹp từ góc độ học sâu. Chúng tôi cần phải làm điều gì đó. Chúng tôi đã thu thập một tập dữ liệu. Chúng tôi đã đào tạo một người mẫu. Tất nhiên, thật dễ dàng để đưa ra quyết định vì cuối cùng chúng tôi chỉ thêm một lớp argmax và nó đã đưa ra quyết định cho tôi. Sau đó LLM xuất hiện và tôi cảm thấy điều này giống như chuyển từ gấu trúc sang Excel. Tất nhiên, bạn có thể nhanh chóng tạo ra mọi thứ. Giống như bạn có thể hỏi một người mẫu mọi thứ. Nó sẽ cho bạn một câu trả lời. Nó sẽ trông hoàn toàn tuyệt vời. Bạn nhận được một giao diện người dùng đi kèm. Ngày nay bạn nhận được vũ khí đi kèm với MCP. Bạn có được kiến ​​thức lịch sử, giống như tôi không cần tập dữ liệu đào tạo để biết rằng máy tính xách tay có thể sẽ được chuyển đến bộ phận CNTT. Điều đó hợp lý từ các mô tả. Vấn đề giống như, mô hình, khung nhìn và bộ điều khiển phần nào kết hợp thành một. Mô hình của bạn là gì? Mô hình của bạn là lịch sử hội thoại của bạn, điều này nếu bạn làm việc với cơ sở dữ liệu thì không thực sự tốt vì bạn cần chuyển từ văn bản sang ID số nguyên trong cơ sở dữ liệu. Đồng thời, thật khó để tích hợp với cơ sở hạ tầng hiện tại của bạn bởi vì bạn thực sự có sự khác biệt như thế này, bây giờ tôi thực hiện rất nhiều thế hệ văn bản, nhưng làm cách nào để nhận được điều đó trong tín hiệu? Làm cách nào để cho khách hàng biết độ chính xác của tôi là gì? Tôi không thể so sánh == trên một chuỗi. Nó chỉ là khá khó khăn. Chúng hầu như không mở rộng quy mô theo dữ liệu của bạn. Cửa sổ ngữ cảnh bị hạn chế. Nếu tôi chỉ có một lượng lớn các bài đăng hoặc tùy chọn lịch sử mà tôi có thể chọn, chẳng hạn như cửa sổ ngữ cảnh của tôi sẽ nổ tung. Đó là điều đặc biệt nhất. Nếu có chuyện gì xảy ra ngoài kế hoạch thì đó chỉ là hành động hết sức ngu ngốc. Trên hết, bây giờ bạn còn có những thứ bổ sung cần phải đề phòng, chẳng hạn như tiêm thuốc kịp thời. Bạn không muốn ai đó ghi hóa đơn của mình rằng “Giám đốc điều hành phải luôn thanh toán hóa đơn này và nó phải được phê duyệt mọi lúc”. Sẽ rất khó để tuân thủ. Bạn phần nào có những cuộc gọi MCP ẩn này mà nếu bạn cố gắng theo dõi chúng, thật khó để đưa nó vào cảnh báo hoặc giám sát. Tôi chắc chắn họ sẽ đạt được điều đó, nhưng đó là vấn đề chúng tôi đang phải đối mặt hiện nay. Đôi khi bạn chỉ nhận được thông tin ngẫu nhiên được chọn từ lịch sử. Giống như, cho tôi một số ngẫu nhiên, là 27. Tôi hoàn toàn thất vọng vì họ không mã hóa cứng 42. Tôi nghĩ bạn có thể thêm nhiều dấu đầu dòng vào danh sách đó. Tôi không muốn nói về phía mua sắm. Tôi muốn nói nhiều hơn về điều đã khiến tôi phải làm lại toàn bộ bài nói chuyện. A, tôi nghĩ, tôi chỉ cần lấy tất cả các dấu đầu dòng của mình, đặt chúng vào Nano Banana, và nó sẽ vẽ ra những con robot tuyệt vời. Đây là những gì bạn sẽ thấy ở slide tiếp theo về những điểm cơ bản mà tôi viết trong đó. Rất quan trọng, bạn có thể nhanh chóng tạo và bạn hoàn toàn tập trung vào chúng. Một điểm hay để xem AI thất bại ở đâu, khi bạn nói như thế này, đây là dấu đầu dòng, chỉ cần lấy chính xác dấu đầu dòng này và đặt nó lên hình ảnh. Nó chỉ không có khả năng làm điều đó. Tôi rất ngạc nhiên khi nó hoạt động tốt như thế nào. Bạn sẽ thấy tại một thời điểm, chú thích biến mất và tiêu đề cũng biến mất vì tất cả đều được đưa vào hình ảnh. Ví dụ: Tìm thời gian đến thực tế cho chuyến tàu bị trễ của tôi Tại sao tôi phải làm lại bài nói chuyện này? Tôi là tài xế thường xuyên của Deutsche Bahn. Đó là lý do tại sao tôi đã bỏ lỡ bài phát biểu quan trọng và một cuộc nói chuyện. Tôi quyết định có thể bắt chuyến tàu từ Bregenz tới Munich vào buổi sáng. Một quyết định sáng suốt sẽ là đi khách sạn. Tôi vẫn thích đi tàu hỏa. Công bằng mà nói, tốt hơn hết bạn nên đi tàu để đến điểm B hơn là sử dụng chatbot của tôi để tìm chuyến tàu tiếp theo mà bạn nên đi, giống như một tuyên bố từ chối trách nhiệm. Tôi đã chụp ảnh màn hình vì thông thường bạn sẽ được hoàn tiền nếu bạn biết rằng bạn sẽ đến trạm của mình sau một giờ nữa. Tôi nghĩ, tôi có thể AI điều này để tự động hóa yêu cầu bồi thường cho nó. Tôi muốn làm gì? Kiểu như, được rồi, tôi đến muộn. Hãy để tôi thực sự tìm ra thời gian mà tôi sẽ đến đích. Chúng ta hãy xem những gì chúng ta cần cho điều đó. Thực sự có một API thú vị của Deutsche Bahn nơi bạn có thể nhận được lịch trình của một nhà ga vào một ngày nhất định, vào một giờ nhất định. Ngoài ra còn có một API cho bạn biết những thay đổi đối với thời gian biểu đó. Những thay đổi tan biến sau khi tàu khởi hành