Hệ thống SceneSmith sử dụng các tác nhân AI phối hợp để dựng những không gian 3D chân thực như nhà bếp, khách sạn hay phòng khách, nơi robot có thể mô phỏng các công việc thường ngày.
Hình ảnh robot đi lại trên phố giữa những ánh mắt kinh ngạc đang dần trở nên quen thuộc. Tuy nhiên, những cỗ máy này vẫn chưa phải trợ lý “làm được mọi thứ” trong nhà bếp hay nhà xưởng. Một trong những nút thắt lớn nhất là dữ liệu. Giống con người, robot học hiệu quả nhất qua trải nghiệm, nhưng việc trực tiếp dạy máy hàng loạt thao tác trong nhiều bối cảnh khác nhau rất tốn thời gian và công sức.
Hệ thống AI của MIT tái tạo không gian 3D chân thực, giúp robot luyện tập và thử nghiệm nhiệm vụ trước khi vận hành thực tế. Ảnh: MIT CSAIL
“Một ý tưởng tự nhiên là sử dụng mô phỏng làm môi trường huấn luyện. Dù các động cơ vật lý đã tiến bộ đáng kể, thách thức còn lại là tạo ra nội dung mô phỏng đủ phong phú và đa dạng để phản ánh sự phức tạp của thế giới thực”, Russ Tedrake, giáo sư tại MIT và nghiên cứu viên chính của Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo MIT, cho biết.
Các tác nhân AI – những chương trình bán tự động có khả năng suy luận và hoàn thành nhiệm vụ xác định – có thể giúp tạo nên những khung cảnh ảo sống động mà robot cần. SceneSmith, do các nhà nghiên cứu tại MIT CSAIL và Viện Nghiên cứu Toyota phát triển, sử dụng ba tác nhân để sắp xếp đồ vật, tường và diện mạo tổng thể của một cảnh 3D.
Hệ thống có thể tái hiện các không gian trong nhà như nhà hàng, phòng ngủ hay khách sạn với độ chân thực và chi tiết cao hơn những phương pháp trước. Nhờ đó, robot có thể luyện kỹ năng, thử nhiều cách thực hiện nhiệm vụ trước khi được triển khai, giúp kỹ sư giảm đáng kể thời gian thử nghiệm ngoài thực tế.
Ba tác nhân cùng dựa trên mô hình ngôn ngữ – thị giác đa phương thức, cụ thể là GPT-5.2, được huấn luyện trên lượng lớn văn bản và hình ảnh từ internet. Tác nhân “nhà thiết kế” tạo các thành phần của cảnh, “nhà phê bình” đánh giá mức độ hợp lý, còn “điều phối viên” quản lý quá trình trao đổi và quyết định khi nào thiết kế hoàn tất. Sau đó, cảnh được tải vào phần mềm mô phỏng vật lý.
Trò chuyện để tạo thế giới ảo
Người dùng có thể yêu cầu SceneSmith “tạo một nhà để xe có ô tô, bàn làm việc, lốp xe xếp ở góc và một chiếc thang dựa vào tường” và nhận lại một không gian ảo đầy đủ vật thể.
Những căn phòng do SceneSmith tạo ra chứa số lượng đồ vật nhiều gấp sáu lần các phương pháp trước, phù hợp để robot luyện các kỹ năng như đặt cốc vào bồn rửa, xếp trái cây lên đĩa hay chuyển lon nước ngọt từ kệ xuống bàn.
Với nhiều môi trường ảo, kỹ sư có thể đánh giá robot đã sẵn sàng triển khai hay chưa mà không cần trải qua quá nhiều lần thử – sai ngoài thực tế. Nhóm nghiên cứu đã kiểm tra các kế hoạch hành động, còn gọi là “chính sách”, trong 100 không gian số của SceneSmith.
Một tác nhân VLM đánh giá từng lần thử và phát hiện những kế hoạch có sai sót khiến robot thường thất bại. Con người đồng ý với phán đoán của mô hình trong hơn 99% trường hợp, cho thấy hệ thống có thể loại bỏ sớm những cách tiếp cận thiếu hiệu quả ngay trong môi trường mô phỏng.
Để kiểm tra độ chân thực, nhóm đưa một chính sách robot đã được huấn luyện trước, chủ yếu từ dữ liệu thực và chưa từng tiếp xúc với cảnh SceneSmith, vào các môi trường mới. Khi được yêu cầu “lấy quả táo trong bát và đặt lên thớt”, robot mô phỏng đã hoàn thành nhiệm vụ. Nếu cảnh khác biệt quá lớn so với những bối cảnh thực mà chính sách từng học, robot khó có thể hoạt động chính xác.
Quy trình xây dựng từng lớp
Mỗi tác nhân đảm nhiệm một vai trò riêng, xây dựng cảnh theo từng giai đoạn, từ tạo mặt bằng đến bổ sung chi tiết. “Nhà thiết kế” dựng bố cục tổng thể, “nhà phê bình” xem xét, còn “điều phối viên” phê duyệt.
Quy trình này được lặp lại ở từng bước: thêm nội thất, bố trí đồ vật trên tường và trần, rồi đưa vào những vật thể robot có thể tương tác. Chẳng hạn, hệ thống có thể tạo tủ có cánh đóng mở được – một vật thể có khớp nối mà các phương pháp trước ít khi xử lý.
So với HSM và Holodeck, SceneSmith tạo ra các môi trường nhiều đồ vật hơn, từ văn phòng riêng, cửa hàng gốm đến phòng chơi game theo chủ đề Minecraft. Trong thử nghiệm với hơn 200 người dùng, hình ảnh của hệ thống được đánh giá chân thực hơn ở trên 90% trường hợp, đồng thời bám sát yêu cầu tốt hơn các phương pháp khác.
SceneSmith còn có thể tạo một xe đẩy phục vụ bằng cách dựng ảnh 2D, sau đó chuyển thành mô hình chi tiết với các thuộc tính vật lý như khối lượng, ma sát và quán tính.
Tuy nhiên, độ chi tiết cũng khiến quá trình tạo cảnh có thể kéo dài nhiều giờ, bởi các tác nhân phải kiểm tra kỹ từng vật thể. Khi có thêm năng lực tính toán, tốc độ xử lý có thể được cải thiện đáng kể. Nhóm nghiên cứu cũng hướng tới mở rộng hệ thống sang các vật thể có thể biến dạng, chẳng hạn như miếng bọt biển.
(Nguồn: MIT News)
