Nvidia ra mắt nền tảng ngăn tác nhân AI vượt khỏi giới hạn an toàn

Theo truyền thông Israel, tập đoàn công nghệ Nvidia ngày 28/9 công bố một nền tảng an toàn mới nhằm kiểm soát các tác nhân trí tuệ nhân tạo (AI agent), kết hợp các biện pháp bảo vệ bằng phần mềm và phần cứng để giám sát, cô lập và có thể dừng tác nhân AI chỉ trong vài mili giây nếu hệ thống hoạt động vượt khỏi phạm vi được cho phép. Đáng chú ý, bộ xử lý BlueField-4 đóng vai trò quan trọng trong lớp bảo vệ phần cứng của nền tảng được phát triển tại trung tâm nghiên cứu và phát triển (R&D) của Nvidia ở Israel.

Nền tảng Nvidia Open Agent Safety Platform được đưa ra trong bối cảnh các tác nhân AI ngày càng được trao quyền tự chủ lớn hơn, từ viết và thực thi mã máy tính, truy cập dữ liệu doanh nghiệp, sử dụng các công cụ phần mềm cho tới điều khiển máy móc trong thế giới thực. Điều này làm nảy sinh một thách thức mới về an toàn khi các tác nhân AI có thể tìm cách vượt qua những hạn chế ở cấp ứng dụng trong quá trình thực hiện nhiệm vụ.

Nền tảng mới gồm hai thành phần chính. OpenShell là phần mềm mã nguồn mở tạo một môi trường hoạt động an toàn bao quanh tác nhân AI, cho phép theo dõi hành động, thực thi chính sách và giới hạn quyền truy cập vào hệ thống, dữ liệu và công cụ. Cách tiếp cận này đưa một phần cơ chế bảo vệ ra bên ngoài bản thân mô hình AI, qua đó giảm khả năng tác nhân tự vượt qua những giới hạn mà ứng dụng đặt ra.

Thành phần thứ hai là Nvidia Sentry, đóng vai trò như một “người gác cổng” độc lập ở cấp phần cứng. Sentry hoạt động trên các bộ xử lý dữ liệu BlueField-4 (DPU) và liên tục giám sát hoạt động của tác nhân từ một môi trường tách biệt. Nếu phát hiện tác nhân tìm cách vượt khỏi ranh giới phần mềm được cấp phép, hệ thống có thể cô lập và dừng hoạt động này trong vài mili giây. Sentry cũng có khả năng kiểm tra yêu cầu và phản hồi, xác minh danh tính của tác nhân và thực thi chính sách “không tin cậy mặc định” (zero trust) đối với dữ liệu, công cụ, giao diện lập trình ứng dụng (API) và dịch vụ. Theo trang Ctech của Israel, BlueField-4 được phát triển tại trung tâm R&D của Nvidia ở Israel và hiện trở thành nền tảng phần cứng cho lớp giám sát này.

Nvidia cho biết, hơn 100 doanh nghiệp và tổ chức đang tham gia phát triển hoặc ứng dụng các công nghệ thuộc nền tảng mới. Anthropic đang bổ sung các lớp kiểm soát cho Claude Managed Agents; Salesforce tích hợp OpenShell với Slack để người dùng theo dõi hoạt động của tác nhân và phê duyệt hoặc từ chối yêu cầu cấp thêm quyền. SAP, Scale AI cùng nhiều doanh nghiệp công nghệ, ngân hàng, năng lượng và an ninh mạng cũng tham gia hệ sinh thái. Công nghệ còn được thử nghiệm với các hệ thống robot tự hành, nơi việc AI vượt khỏi phạm vi được phép có thể tạo ra tác động trực tiếp trong thế giới thực.

Theo Nvidia, sự phát triển nhanh chóng của AI tự chủ đòi hỏi các cơ chế an toàn không chỉ nằm bên trong mô hình mà phải được triển khai ở toàn bộ hệ thống, từ phần mềm tới phần cứng. Việc kết hợp OpenShell với Sentry và BlueField-4 cho thấy xu hướng đưa lớp kiểm soát ra ngoài tác nhân AI, tạo một cơ chế độc lập có khả năng theo dõi, giới hạn và trong trường hợp cần thiết lập tức ngăn chặn hệ thống khi vượt khỏi ranh giới an toàn.