Развитието на хуманоидните роботи се движеше с бавен темп през по-голямата част от две десетилетия, но напоследък виждаме все повече и повече пробиви в тази област. Както наскоро писахме, на MWC 2024 беше представен AI робот Амека, и друго развитие, Unitree H1, счупи рекорда за скорост сред хуманоидните роботи. И сега в интернет се появи грандиозен резултат от сътрудничеството между компаниите Figure AI и OpenAI - зашеметяващо видео на хуманоиден робот, който вече може да води разговори с хора.
Startup Figure AI пусна видеоклип, показващ как роботът Figure 01 работи с новия Visual Language Model (VLM). В него Фигура 01 стои на маса, на която има чиния, ябълка и чаша. Вляво има сушилня. А на въпроса на човек, какво вижда роботът пред себе си, той отговаря, като описва подробно всичко, което лежи на масата.
И тогава човекът пита дали може да яде нещо, а роботът отговаря: „Разбира се“, след което с ловко плавно движение взема ябълката и я подава на човека. След това идва още една зашеметяваща демонстрация - мъж изсипва намачкан боклук от кош пред Фигура 01 и моли робота да обясни защо е направил това, като в същото време събира боклука в коша. И той обяснява своята „мисъл“, докато връща хартията обратно в кошчето. „Така че ти дадох ябълка, защото това е единственият ядлив продукт, който можех да ти дам от масата“, каза роботът.
Представители на компанията обясниха, че Фигура 01 използва предварително обучен мултимодален модел OpenAI, VLM, за разбиране на изображения и текстове и разчита на гласови подкани, за да генерира своите отговори. Това е различно от, да речем, GPT-4 на OpenAI, който се фокусира върху писмени подкани.
Той също така използва това, което компанията нарича "научени бимануални манипулации на ниско ниво". Системата координира прецизното калибриране на изображението (до ниво пиксел) със своята невронна мрежа за контрол на движението. „Тези мрежи получават изображения при 10 Hz и генерират 24-DOF действия (пози на китката и ъгли на ставите на пръстите) при 200 Hz“, се казва в изявление на Figure AI.
Компанията твърди, че всяко поведение във видеото се основава на системно обучение, така че никой зад кулисите не дърпа конците на Фигура 01. Разбира се, има един нюанс - не е известно колко пъти роботът е преминал през тази процедура. Може би беше за стотен път, което обяснява прецизните му движения. Но във всеки случай това постижение изглежда грандиозно и малко фантастично.
Фигура 01 вече изпълнява задачи от реалния свят
Всичко е автономно:
-Автономна навигация и базирана на сила манипулация
- Научен модел на зрение за откриване и приоритизиране на контейнери
-Реактивна манипулация на контейнера (устойчива на вариация на поза)
-Обобщаване към други задачи за избор/поставяне снимкаtwitter.com/0wFmYnq0GC— Фигура (@Figure_robot) Февруари 26, 2024
Прочетете също: