NVIDIA robotikas konferencē Ostinā, Teksasā, 9. novembrī iepazīstināja ar GR00T 2 — tā dēvēto pasaules darbību modeli, kas vienlaikus prognozē nākotnes video un robota kustības. Šāda pieeja ļauj modelim apgūt, kā norisinās fiziska mijiedarbība ar objektiem, un noteikt darbības, kas nepieciešamas uzdevuma izpildei.

GR00T 2 paredzēts darbam ar dažādu uzbūvju robotiem, tostarp robota rokām ar paralēlajiem satvērējiem, veiklām piecpirkstu plaukstām un humanoīdiem. NVIDIA norāda, ka modelis var mācīties no cilvēku video, ar rokām vadītu satvērēju demonstrējumiem un datiem, kas iegūti, vadot citus robotus.

95% panākumu pēc piecām demonstrācijām

Pārbaudēs ar 50 uzdevumiem, kas mērķa robotam iepriekš nebija demonstrēti, GR00T 2 bez konkrētajam uzdevumam paredzētas apmācības sasniedza vidēji 40% panākumu. Kad katram uzdevumam tika nodrošinātas piecas demonstrācijas, rezultāts pēc 30 minūšu precizēšanas uz vienas NVIDIA RTX 5090 videokartes pieauga līdz vidēji 95%.

Katra uzdevuma demonstrēšanai bija nepieciešams mazāk nekā trīs minūtes robotu datu. NVIDIA šo pieeju dēvē par savstarpējo adaptāciju jeb X-Adapt. Tā ļauj robotam pārnest prasmes, kas demonstrētas ar citu robota ķermeni vai vadības ierīci.

Vienā eksperimentā pētnieki cilvēka vadībā parādīja, kā laboratorijas piltuvi izklāt ar filtrpapīru un samitrināt, izmantojot mazgāšanas pudeli. Mērķa robots netika vadīts ar tālvadības palīdzību — uzdevums tika demonstrēts tikai cilvēkam. Piecpirkstu robots to veiksmīgi izpildīja 65% mēģinājumu.

Citā pārbaudē ar rokā turamu Universal Manipulation Interface jeb UMI satvērēju tika demonstrēts, kā salikt rotaļu pašizgāzēju. Pēc tam cita robota roka YAM šo uzdevumu izpildīja 60% mēģinājumu, lai gan nebija saņēmusi konkrētajam uzdevumam paredzētu demonstrāciju.

Pētnieki izmantoja arī valkājamu ierīci, kas atdarina cilvēka pirkstu kustības, lai robota plaukstai iemācītu uzdevumus ar abām rokām. To vidū bija banānu jogurta pagatavošana, granolas uzsmelšana, kā arī sērkociņa aizdegšana lampas iedegšanai.

Apmācība ar cilvēku video un robotu datiem

Modeļa apmācībā apvienotas 402 730 stundas video, kas uzņemti no cilvēka skatpunkta, 10 184 stundas demonstrējumu ar rokā turētiem satvērējiem un 23 500 stundas robotu vadības datu. NVIDIA norāda, ka 100 000 stundu no tās Human-1M datu kopas ir publiski pieejamas.

GR00T 2 var sadarboties arī ar spriešanas modeļiem, kas sarežģītus uzdevumus sadala soļos, seko progresam un ar lietojumprogrammu saskarnes palīdzību vada robotu. Pārbaudēs ar trim rotaļlietu konstrukcijām šāda pieeja katrai rotaļlietai veiksmīgi noslēdza vismaz 97 no 100 mēģinājumiem. Sistēma spēja atgūties arī pēc kļūdām un procesa pārtraukumiem.

Vizuālās vadības funkcija ļauj spriešanas modelim atzīmēt vietu, kur robotam objekts jāpaņem un jāatlaiž. Īsos uzdevumos, kuros bija jānosaka, ko pārvietot un uz kurieni, šī funkcija YAM robota rezultātu uzlaboja no 40% līdz 92%.

GR00T 2 Turbo darbina humanoīdu Unitree G1

NVIDIA izstrādājusi arī GR00T 2 Turbo — mazāku versiju, kas paredzēta ātrākai izpildei humanoīdā robotā. Tā darbojas tieši uz Unitree G1, izmantojot iebūvētu Jetson Thor procesoru, un katras prognozes izveide aizņem 124 milisekundes.

Izmantojot visa ķermeņa vadības sistēmu, humanoīds visos 48 mēģinājumos veiksmīgi pasniedza popkornu. Citā pārbaudē tas no galda novāca dažādus objektus 93% mēģinājumu.

NVIDIA norāda, ka GR00T 2 mērķis ir palīdzēt robotiem pāriet no šauri apmācītām darbībām uz pielāgojamāku manipulāciju rūpniecības un ikdienas vidē.