Xây dựng Foundry Phần 2: Nơi các quy trình sáng tạo bị gián đoạn

Xây dựng Foundry Một loạt bài thực tế về quy trình làm việc sáng tạo, tìm kiếm ngữ nghĩa và Weaviate. Đọc bài viết trước trong loạt bài: Phần 1: AI không thay thế sự sáng tạo, mà loại bỏ rào cản. Hầu hết các nhóm sáng tạo đều biết rằng họ đang lãng phí thời gian vào việc tìm kiếm. Điều ít rõ ràng hơn là sự cố thực sự xảy ra ở đâu. Nó thường không bắt đầu từ các công cụ kém hiệu quả hay các nhóm bất cẩn. Thay vào đó, khi các dự án mở rộng, quy ước đặt tên bị lệch lạc, chất lượng siêu dữ liệu giảm sút, và chi phí để giữ mọi thứ được tổ chức hoàn hảo trở nên cao hơn chi phí chấp nhận một chút hỗn loạn. Trong một thời gian, sự đánh đổi đó có vẻ hợp lý. Sau đó, việc truy xuất bắt đầu thất bại, và không ai có thể tìm thấy bất cứ thứ gì nữa. Thất bại đầu tiên: thư mục Cấu trúc thư mục hoạt động tốt nhất khi các dự án nhỏ, quyền sở hữu ổn định và mọi người đồng ý về cùng một mô hình tư duy. Sản xuất sáng tạo hiếm khi duy trì trạng thái đó lâu dài. Trong phát triển trò chơi, một nhóm môi trường có thể tổ chức tài sản theo quần xã sinh vật, một nhóm khác theo chu kỳ phát triển (sprint), và một nhóm khác theo trạng thái sẵn sàng cho công cụ. Cả ba cấu trúc đều có ý nghĩa cục bộ. Trong suốt quá trình sản xuất kéo dài hai năm, chúng trở thành những bản đồ không tương thích của cùng một công việc. Trong sản xuất phim, cảnh quay thường bắt đầu được tổ chức theo ngày quay, sau đó được sắp xếp lại theo trình tự trong khâu dựng phim, trong khi VFX và chỉnh màu giữ các cấu trúc phái sinh riêng của họ. Trong các nhóm thiết kế, công việc của khách hàng, các tệp khám phá và các bản xuất cuối cùng thường nằm trong các hệ thống riêng biệt với các liên kết yếu giữa chúng. Thư mục vẫn quan trọng, nhưng theo thời gian, chúng mô tả nơi một tệp được lưu trữ, chứ không phải tệp đó hữu ích cho việc gì. Thất bại thứ hai: gắn thẻ (tag) Gắn thẻ thường được đề xuất như một phương thuốc cho các thư mục lộn xộn, và trong môi trường được kiểm soát, nó có thể hoạt động tốt. Thách thức là việc gắn thẻ nhất quán là một kỷ luật quy trình, và kỷ luật quy trình rất dễ bị phá vỡ dưới áp lực thời hạn. Các nhóm hoạt hình đang sản xuất các phân cảnh theo lịch trình chặt chẽ không dừng lại để áp dụng các thẻ mô tả hoàn hảo cho mọi tệp cảnh đã được phiên bản hóa. Các nhà sản xuất âm nhạc chuyển đổi giữa các phiên làm việc không tạm dừng để phân loại từng bản nhạc (stem) bằng các nhãn ngữ nghĩa có thể tái sử dụng. Các nhà thiết kế chuẩn bị các biến thể chiến dịch cho nhiều kênh hiếm khi chú thích mọi khám phá trung gian với mục đích truy xuất trong tương lai. Không điều nào trong số này phản ánh sự kém cỏi. Nó phản ánh các động cơ. Các nhóm tối ưu hóa để cung cấp những gì cần thiết ngay bây giờ, chứ không phải cho một yêu cầu truy xuất giả định sáu tháng sau. Kết quả là, chất lượng thẻ có xu hướng không đồng đều: cao đối với các sản phẩm chính thức, thưa thớt đối với các tệp làm việc và không nhất quán giữa các cá nhân. Thất bại thứ ba: tìm kiếm từ khóa Tìm kiếm từ khóa rất hiệu quả khi truy vấn và văn bản được lưu trữ sử dụng cùng một từ. Nhưng công việc sáng tạo đầy rẫy sự không khớp về từ vựng. Một biên tập viên phim có thể tìm kiếm "cận cảnh cảm xúc tĩnh lặng" trong khi một đoạn clip được mô tả nội bộ là "CU diễn viên B phản ứng cảnh quay thay thế". Một nghệ sĩ trò chơi có thể tìm kiếm "hành lang bê tông thô ráp ẩm ướt" trong khi các tệp được đặt tên theo ID cấp độ và số chu kỳ phát triển (sprint). Một nhà thiết kế đồ họa tìm kiếm "tùy chọn logo hình học vui nhộn" có thể đang tìm một tệp có tiêu đề final_FINAL_logo_v7, vì khách hàng đã quay lại nửa tá lần với các chỉnh sửa. Công việc sáng tạo rất lộn xộn, và tên tệp hiếm khi chứa các mô tả chúng ta cần để tìm lại chúng. Những thất bại này tích lũy theo thời gian Bất kỳ vấn đề nào trong số này đều có thể quản lý được. Khi kết hợp lại, chúng tạo ra hiệu ứng tích lũy. Một dự án khởi đầu với cấu trúc rõ ràng. Các thành viên trong nhóm luân chuyển. Các nhà cung cấp đóng góp tài sản bằng các quy ước khác nhau. Sự sai lệch trong đặt tên ngày càng tăng. Kỷ luật gắn thẻ thay đổi tùy theo thời hạn và vai trò. Khối lượng lưu trữ tăng lên. Cuối cùng, nhóm không có một hệ thống duy nhất mà là một vài hệ thống chồng chéo một phần. Đến lúc đó, việc tìm kiếm tài liệu không còn là tìm kiếm mà là dựa vào trí nhớ xã hội: hỏi người có thể nhớ. Cách tiếp cận đó không thể mở rộng quy mô. Nó cũng tạo ra sự tiếp cận không đồng đều đối với tri thức thể chế. Các cộng tác viên cấp cao trở thành công cụ tìm kiếm ngầm, và các thành viên mới trong nhóm mất nhiều thời gian hơn để xây dựng lại ngữ cảnh đã tồn tại trong các tệp mà họ không thể dễ dàng khám phá. Những gì hệ thống truy xuất cần làm khác biệt Nếu chúng ta coi đây là một vấn đề truy xuất thay vì vấn đề tổ chức, các yêu cầu sẽ thay đổi. Hệ thống truy xuất phải hoạt động khi việc đặt tên không hoàn hảo. Nó phải hoạt động khi các thẻ không đầy đủ. Nó phải hoạt động khi người dùng có thể mô tả ý định rõ ràng nhưng không thể tái tạo lại từ ngữ gốc được sử dụng tại thời điểm tạo. Nó cũng phải duy trì độ chính xác khi các ràng buộc chính xác quan trọng, chẳng hạn như dự án, phạm vi ngày, trạng thái quyền, định dạng phân phối hoặc loại tài sản. Đó là lý do tại sao các hệ thống hiện đại kết hợp nhiều tín hiệu: tính tương đồng ngữ nghĩa cho ý nghĩa khớp từ khóa cho các thuật ngữ chính xác bộ lọc siêu dữ liệu cho các ràng buộc cứng Điều này có thể được xây dựng bằng cách sử dụng quy trình hai giai đoạn: nhập liệu trước, truy xuất sau. Nhập liệu là nơi các tài sản được chuẩn bị cho việc tìm kiếm trong tương lai. Các tệp được xử lý, các embedding (biểu diễn vector) được tạo ra và siêu dữ liệu có sẵn được đính kèm. Trong các quy trình sáng tạo, điều này có thể bao gồm các định danh dự án, loại tệp, dấu thời gian, vai trò người đóng góp, các trường quyền hoặc cấp phép, và bất kỳ thuộc tính cụ thể nào của quá trình sản xuất mà bạn đã theo dõi. Mục tiêu là nắm bắt đủ cấu trúc và đủ biểu diễn ngữ nghĩa để các truy vấn trong tương lai có nhiều lộ trình dẫn đến kết quả chính xác. Truy xuất là nơi các lộ trình đó được kết hợp. Người dùng có thể tìm kiếm bằng ngôn ngữ tự nhiên, sau đó tinh chỉnh bằng các bộ lọc siêu dữ liệu, rồi dựa vào xếp hạng kết hợp pha trộn điểm ngữ nghĩa và từ khóa. Các cơ sở dữ liệu vector có thể lưu trữ các embedding với siêu dữ liệu ở quy mô lớn, điều này có nghĩa là tìm kiếm ngữ nghĩa và tìm kiếm có bộ lọc có thể chạy trong một luồng mạch lạc. Sử dụng Weaviate làm ví dụ triển khai, chúng ta có thể nhập các tài sản với các embedding và siêu dữ liệu, truy vấn bằng tín hiệu vector và từ khóa, sau đó áp dụng các ràng buộc siêu dữ liệu để có kết quả an toàn cho sản xuất. Bước tiếp theo Các quy trình làm việc sáng tạo không bị gián đoạn vì các nhóm không có tổ chức. Chúng bị gián đoạn vì các hệ thống sản xuất được tối ưu hóa cho việc xuất bản, trong khi các hệ thống truy xuất phương tiện thường được tối ưu hóa cho việc vệ sinh dữ liệu lý tưởng mà các dự án thực tế không thể duy trì. Xây dựng một hệ thống truy xuất dựa trên vector là giải pháp thực tế.