剛剛!鴿了兩年之后,稚暉君罕見更新視頻——
上線號稱史上復雜項目靈犀X2,能夠像人一樣靈動地騎自行車。
評論區(qū)早已經(jīng)是聽取哇聲一片。
他自己表示,悄咪咪研發(fā)了三個月,視頻準備了一個月。嗯,鴿的越久,事情越大!
據(jù)介紹,之所以這次如此有人味兒,源于背后集齊了運動、交互、作業(yè)三大智能。
于是乎,四年前葡萄縫針的神技,再次在靈犀X2上看到了。
它能像人一樣,有著一呼一吸的韻律。
它可以毫秒級交互,幫助你決策一些日常的選擇困難。
睡前該喝什么飲料。
除此之外,它還擁有一些其他機器人不具備的抽象能力。
比如腦殼里裝手機???
還有遠程裸眼3D交流。。。
著實是非常抽象了。
本體是怎么設計?
整個設計過程也完全公開,與以往的項目一樣的硬核。他們此次在本體設計上有很多創(chuàng)新思考。
首先是硬件系統(tǒng),抽象出了一個個可復用的核心組件。
小腦控制器Xyber-Edge;域控制器Xyber-DCU;智能電源管理系統(tǒng)Xyber-BMS;核心關節(jié)模組;
……
通過這樣模塊化的組件設計,就可以像拼無人機航模一樣來搭建起各種形態(tài)的人形機器人系統(tǒng)。
就比如拿抓完全體,這里他又挖坑了,鴿了兩年不知還要再鴿幾年。
還有就是在材料選擇上,選擇了很親和的柔性材料。他們進行了多種嘗試,包括TPU、ETPU、EVA,甚至是美妝蛋???
另外,他們?nèi)略O計了核心關節(jié)模組,并在原型機全身28個自由度沒有使用任何一個并聯(lián)結構。
這樣既能保證慣量上移,又實現(xiàn)了運控算法的完全解耦。
就像這樣,跟人一樣很Chill的晃腿~
更為重要的突破來自運控算法層面——全面從Model-based轉向學習驅動的強化學習。
通過深度強化學習與模仿學習相結合,讓靈犀X2學會了像人一樣的運動能力。
而且平衡能力不錯,隨機跑起來或者原地轉圈也是輕松拿捏。
甚至它還能抓住舞蹈精髓,跟隨bgm跳一曲科目三。
同時,更考驗身體協(xié)調性和平衡能力的深蹲動作,靈犀X2舉著小杠鈴也輕松完成了。
(體重暴露了,靈犀X2重33.8KG,加上身高在一米三左右,嗯,標準身材)
此外,它還學會了人類必備技能——偷懶(doge),各種工具用起來也是得心應手。
踩滑板車、平衡車那叫一個6:
不過要想要想訓練出這樣一個靈活的機器人,其實并不容易。他們在過程中也遇到了各種各樣神奇的體驗(Bug)。
比如偶然習得了一種抽象的走路方式。。。
不想動了就直接擺爛,太像人了有沒有?!
又或者鬧一波情緒,經(jīng)鑒定該孩子為情緒暴躁型。
目前靈犀X2還在持續(xù)進化運動能力中,按照稚暉君的說法:
通過數(shù)據(jù)驅動的算法范式,智能體能夠從每秒數(shù)萬次的環(huán)境交互和動作數(shù)據(jù)中,找到突破運動瓶頸的方法。
我們相信人形機器人的運動智能問題,很快會得到徹底解決。
讓機器人有人味兒了
不過要讓機器人真正跟人一樣,除了運動智能之外,交互智能、作業(yè)智能也必不可少。
首先交互方面,要讓機器人不光四肢發(fā)達,頭腦也不簡單,這主要得益于他們開發(fā)的一套基于Diffusion的生成式動作引擎。
此外,還為靈犀X2訓練了定制的多模態(tài)交互大模型——硅光動語,以至于靈犀X2被稱為“第一臺真正具備復雜交互能力的靈動機器人”。
在此基礎上,通過邊緣側大腦和端到端模型架構,以及一系列工程優(yōu)化,靈犀X2具備了毫秒級交互能力。
日常坐下來聊聊天(用了稚暉君本人的聲音訓練):
有意思的是,當問靈犀X2“剛剛提的問有多少是預先寫好的”,它驕傲回答道:
完全隨機。
與此同時,除了語音和視覺,靈犀X2所使用的模型還集成了動作模態(tài),使它被賦予了生命感。
除了開頭提到的呼吸韻律,它還有自己的好奇心以及肢體語言:
當然,情緒價值拉滿的同時,靈犀X2還具備了一定的生產(chǎn)能力。
據(jù)稚暉君介紹,過去一年里,他們初步找到了一條通往泛化作業(yè)智能的路徑,而靈犀X2則是集大成者。
結合已開源的數(shù)據(jù)集和框架,靈犀X2目前已具備簡單任務的零樣本泛化能力。
像前段時間Figure展現(xiàn)出來的多機協(xié)作,靈犀X2在某些特定任務中也能實現(xiàn)。
而按照規(guī)劃,終靈犀X2能夠實現(xiàn)作業(yè)領域的“機器人吉祥三保”——保安、保姆以及保潔。
One More Thing
同一天,稚暉君旗下的智元機器人和上海國有資本投資有限公司達成戰(zhàn)略合作。
目標嘛,主要是想在上海打造全球領先的智能機器人產(chǎn)業(yè)集群。
本文鏈接:http://m.zh1234.com/news44006.html稚暉君機器人“葡萄縫針”神技再現(xiàn)江湖 這次是人形的