Công cụ mới cho phép người dùng sửa chữa các mô hình 3D do AI tạo ra, sau đó chế tạo chúng theo ý muốn.

“Thấy gì được nấy” là nguyên tắc chỉ đạo của nhiều kỹ sư phần mềm – tạo ra các chương trình mà nội dung đang chỉnh sửa trông giống hệt sản phẩm cuối cùng. Tuy nhiên, khi sử dụng các hệ thống trí tuệ nhân tạo tạo sinh (generative AI) để in 3D, chẳng hạn như một chiếc cốc, người dùng có thể sẽ nhận được một chiếc cốc không thể đựng cà phê. Tại sao lại như vậy? Vấn đề là các mô hình AI hiểu một vật thể nên trông như thế nào, nhưng không hiểu cách nó hoạt động, dẫn đến những thiết kế không thực tế làm suy yếu mục đích sử dụng của vật phẩm. Ngay cả khi muốn sửa những lỗi này, các mô hình thường khó chỉnh sửa, đặc biệt đối với những người dùng mới làm quen với thiết kế 3D. Một phương pháp mới có tên “InstructMesh” giúp việc thiết kế và in các vật dụng gia đình, phụ kiện và robot hoạt động trong thế giới thực trở nên dễ dàng hơn nhiều. Phần mềm thiết kế này, được phát triển bởi các nhà nghiên cứu tại Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo (CSAIL) của MIT, Google và Đại học Northeastern, có thể được yêu cầu tạo ra một thiết kế 3D cho một cặp kính, chẳng hạn, và người dùng sau đó có thể đánh dấu các phần cụ thể của bản thiết kế mà họ muốn tinh chỉnh trước khi in 3D. Đây là một giao diện dựa trên AI được thiết kế để hiểu các thiết kế này nên trông như thế nào và những chỉnh sửa nào mà cả chuyên gia lẫn người mới muốn thực hiện, giúp họ tạo ra những vật thể mà họ thực sự mong muốn. Các nhà nghiên cứu CSAIL đã sử dụng InstructMesh để tạo ra một nét cá nhân, sáng tạo cho những vật phẩm thông thường. Ví dụ, công cụ này đã tạo ra một chiếc cốc trông như được một con rồng bao bọc, với đuôi rồng làm tay cầm. Nó cũng chế tạo một chiếc còi màu xanh bóng loáng giống vỏ sò và một cặp kính với đôi cánh bướm xòe ra ngay phía trên tròng kính. Sáng tạo hơn nữa, nó đã tạo ra một bộ phân phối giống bạch tuộc, với chất lỏng chảy ra từ mỗi xúc tu để phân phối đồ uống vào nhiều cốc cùng một lúc. Điều gì khiến InstructMesh thành thạo trong việc tuân theo những yêu cầu độc đáo như vậy? Nó kết hợp hệ thống TRELLIS của Microsoft, tạo ra các mô hình 3D từ văn bản và hình ảnh, với mô hình ngôn ngữ lớn (LLM) GPT-4, hỗ trợ ChatGPT – nói cách khác, kết hợp kiến thức hình ảnh và văn bản. “Chúng tôi muốn kết hợp tài năng của các trình tạo 3D và kỹ năng suy luận của các LLM trong một không gian tương tác để tạo ra những vật thể mà mọi người thực sự muốn,” Faraz Faruqi SM ’22, PhD ’26, tác giả chính của bài báo trình bày dự án, cựu sinh viên Khoa Kỹ thuật Điện và Khoa học Máy tính, và cộng tác viên gần đây của CSAIL, cho biết. “Các mô hình ngôn ngữ rất giỏi về văn bản và hình ảnh, trong khi tài năng của TRELLIS nằm ở khả năng tạo ra các mô hình 3D, vì nó đã được tiếp xúc với rất nhiều mô hình.” Điểm mạnh của InstructMesh phát huy tác dụng trong các lĩnh vực khác, đáng ngạc nhiên hơn. Các nhà khoa học MIT đã sử dụng chương trình này để chế tạo một nẹp đầu gối trông giống vải denim để phù hợp với quần jean của bệnh nhân. InstructMesh thậm chí có thể giúp tạo ra robot – tức là các vỏ bọc thông minh chứa các thành phần không dây. Các nhà nghiên cứu đã tạo ra một “robot lông cứng” (bristle bot) giống một con tôm đầy màu sắc để minh họa điều này. Nó có một động cơ ẩn bên trong, và khi bật lên, nó có thể trượt trên các bề mặt, giống như một món đồ chơi lên dây cót. Faruqi và các đồng nghiệp nhận thấy rằng InstructMesh có thể dễ dàng tạo ra các vật phẩm mong muốn của họ. Nhưng một người chưa từng mô hình 3D bất cứ thứ gì sẽ nghĩ gì về chương trình của họ? Và liệu họ có thực sự phát hiện ra các lỗi thiết kế trước khi chế tạo không? Nhóm đã yêu cầu TRELLIS tái tạo các mô hình 3D phổ biến được tìm thấy trên Thingiverse, một nền tảng chứa hàng triệu mô hình có thể in 3D, để giúp họ tìm hiểu. Gần 80% các mô hình mà nó tạo ra đều có lỗi cấu trúc theo một cách nào đó. Các nhà nghiên cứu CSAIL r Các nhà nghiên cứu sau đó yêu cầu những người mới sử dụng xác định và khắc phục các vấn đề này trong InstructMesh — và họ đã có thể thực hiện cả hai việc này với độ chính xác khoảng 90%, theo đánh giá của một chuyên gia. Những người mới này đã bù đắp sự thiếu hụt chuyên môn bằng trực giác. InstructMesh hỗ trợ quá trình tạo mô hình thực tế, vốn trước đây đòi hỏi chuyên môn về các công cụ mô hình 3D. Ông Faruqi cho biết: “Với việc thao tác diễn ra trong không gian tiềm ẩn của mô hình tạo sinh, InstructMesh hỗ trợ mô tả các vấn đề bằng ngôn ngữ tự nhiên và tạo ra những thay đổi mang tính diễn giải trong hình học để người dùng đánh giá và phê duyệt”. Người dùng sau đó đã tạo ra các vật phẩm giống như giá đỡ điện thoại và lọ hoa, đồng thời nhận thấy InstructMesh dễ sử dụng. Họ cũng nhận thấy InstructMesh cho phép họ thể hiện nhiều ý tưởng khác nhau, trong khi các thanh trượt mang lại độ chính xác cao hơn để thực hiện một số điều chỉnh nhất định, chẳng hạn như phóng to hoặc đùn một phần cụ thể của mô hình. Ông Faruqi nói thêm: “Người dùng đã nhận được những gì họ yêu cầu và dễ dàng điều chỉnh thiết kế khi cần. Những gì họ thấy là những gì họ nhận được, và các vật phẩm hoạt động đúng như quảng cáo, có thể nói là như vậy”. Trong khi người dùng thích sử dụng InstructMesh, ông Faruqi có một tầm nhìn lớn hơn cho dự án này. Hiện ông đang làm việc tại Google, nơi ông có thể sớm tích hợp InstructMesh vào một nền tảng thực tế tăng cường (AR). Ý tưởng là: Yêu cầu hệ thống bằng cách giải thích những gì bạn cần sử dụng ngữ cảnh xung quanh, sau đó hệ thống sẽ nhanh chóng in 3D vật phẩm đó (ví dụ: tạo vỏ điện thoại phù hợp với ví của bạn). InstructMesh cũng có thể bắt đầu tích hợp các mô phỏng vật lý để mô hình hóa cách thiết kế của bạn có thể phản ứng với các mục đích sử dụng cụ thể, chẳng hạn như liệu một cái bát có vỡ khi rơi hay không, và vật liệu nào sẽ hoạt động tốt nhất. Phần mềm cũng có thể tích hợp TRELLIS.2 gần đây hơn để tinh chỉnh các chi tiết nhỏ hơn trong mô hình 3D. Stefanie Mueller, phó giáo sư kỹ thuật điện và khoa học máy tính (EECS) và kỹ thuật cơ khí tại MIT, đồng thời là thành viên của CSAIL, là tác giả chính của bài báo. Ông Faruqi và bà Mueller đã viết bài báo cùng với các nhà nghiên cứu của Google là Ahmed Katary ’23; Fabian Manhardt; Vrushank Phadnis MEng ’13, PhD ’20; Ruofei Du; và Federico Tombari. Các đồng tác giả khác bao gồm Trợ lý Giáo sư Megan Hofmann của Đại học Northeastern cùng với một số đồng nghiệp của CSAIL: Demircan Tas SM ’24 và SMArchS ’24, một nghiên cứu sinh tiến sĩ về EECS và kiến trúc; cựu nhà nghiên cứu khách mời Theresa Hradilak; Ning Zhang ’25, một sinh viên cao học về EECS; nghiên cứu sinh sau tiến sĩ Jiaji Li; và Martin Nisser SM ’19, PhD ’24. Công trình của các nhà nghiên cứu đã được hỗ trợ bởi