鐵甲工程機(jī)械網(wǎng)> 工程機(jī)械資訊> 行業(yè) > 從單體智能到群體智能 ,一腦多機(jī)時(shí)代來了→

從單體智能到群體智能 ,一腦多機(jī)時(shí)代來了→

語音播報(bào)
點(diǎn)擊播放

3月29日,在2025中關(guān)村論壇年會(huì)“積淀·涌現(xiàn)”未來人工智能先鋒論壇上,北京智源人工智能研究院(以下簡(jiǎn)稱“智源研究院”)院長王仲遠(yuǎn)發(fā)布了首個(gè)跨本體具身大小腦協(xié)作框架RoboOS與開源具身大腦RoboBrain,可實(shí)現(xiàn)跨場(chǎng)景多任務(wù)輕量化快速部署與跨本體協(xié)作,推動(dòng)單機(jī)智能邁向群體智能,為構(gòu)建具身智能開源統(tǒng)一生態(tài)加速場(chǎng)景應(yīng)用提供底層技術(shù)支持。

基于RoboOS及RoboBrain的多機(jī)器人跨本體協(xié)作遞送任務(wù)Demo

增強(qiáng)長程操作任務(wù)能力

打造感知-認(rèn)知-決策-行動(dòng)閉環(huán)

在具身場(chǎng)景中,長程操作任務(wù)是機(jī)器人執(zhí)行復(fù)雜任務(wù)的核心能力之一。本次發(fā)布的開源具身大腦RoboBrain融合了機(jī)器人任務(wù)規(guī)劃、可操作區(qū)域感知、軌跡預(yù)測(cè)的三維能力,通過將抽象指令映射為具象動(dòng)作序列,增強(qiáng)長程操作任務(wù)的能力,表現(xiàn)出卓越性能。智源研究院相關(guān)業(yè)務(wù)負(fù)責(zé)人告訴記者:“RoboBrain由三個(gè)模塊組成:用于任務(wù)規(guī)劃的基座模型、用于可操作區(qū)域感知的A-LoRA模塊和用于軌跡預(yù)測(cè)的T-LoRA模塊。在推理時(shí),模型首先感知視覺輸入,并將輸入指令分解為一系列可執(zhí)行的子任務(wù),然后執(zhí)行可操作區(qū)域感知和軌跡預(yù)測(cè)。RoboBrain采用多階段訓(xùn)練策略,使其具備長歷史幀記憶和高分辨率圖像感知能力,進(jìn)而提升場(chǎng)景感知和操作規(guī)劃的能力?!?/span>

據(jù)悉,目前RoboBrain能夠解讀人類指令和視覺圖像,以生成基于實(shí)時(shí)圖像反饋的行動(dòng)計(jì)劃和評(píng)估,預(yù)測(cè)每一步的軌跡并感知相應(yīng)的可操作區(qū)域。具體而言,RoboBrain 能夠有效利用環(huán)境信息和交互對(duì)象的狀態(tài)——無論是從第一人稱還是第三人稱視角捕捉的圖像——生成針對(duì)不同類型機(jī)器人操作任務(wù)的任務(wù)規(guī)劃,并基于人類指令和視覺信息,提供合理的可操作區(qū)域,并能在不同場(chǎng)景中表現(xiàn)出良好的泛化能力,生成既可行又合理的軌跡。

“具身大腦RoboBrain、小腦技能庫以及跨機(jī)器人數(shù)據(jù)中樞,是跨本體框架RoboOS的核心要素。具身大腦RoboBrain,負(fù)責(zé)全局感知與決策,構(gòu)建動(dòng)態(tài)時(shí)空感知、規(guī)劃指導(dǎo)和反饋糾錯(cuò)機(jī)制;小腦技能庫,負(fù)責(zé)低延遲精準(zhǔn)執(zhí)行,實(shí)現(xiàn)柔性與精密操作等;跨機(jī)器人數(shù)據(jù)中樞,負(fù)責(zé)實(shí)時(shí)共享空間、時(shí)間和本體記憶,為決策規(guī)劃與優(yōu)化協(xié)作操作提供信息支持,從而形成感知-認(rèn)知-決策-行動(dòng)的閉環(huán)?!敝窃囱芯吭合嚓P(guān)業(yè)務(wù)負(fù)責(zé)人表示。

一腦多機(jī)實(shí)現(xiàn)跨本體協(xié)作

從單體智能邁向群體智能

本次論壇還發(fā)布了首個(gè)跨本體具身大小腦協(xié)作框架RoboOS,記者從論壇現(xiàn)場(chǎng)獲悉,RoboOS基于“大腦-小腦”分層架構(gòu),通過模塊化設(shè)計(jì)、智能任務(wù)管理和跨本體協(xié)作,可以為機(jī)器人提供高效、靈活、可擴(kuò)展的底層支持,實(shí)現(xiàn)從單機(jī)智能到群體智能的躍遷。

智源研究院相關(guān)業(yè)務(wù)負(fù)責(zé)人告訴記者,在RoboOS的分層架構(gòu)下,具身大腦RoboBrain的復(fù)雜場(chǎng)景感知與決策能力,可與小腦技能庫的高效執(zhí)行能力深度結(jié)合,確保協(xié)作框架在長周期、高動(dòng)態(tài)任務(wù)中的穩(wěn)定運(yùn)行。實(shí)現(xiàn)大腦模型(如LLM/VLM)與小腦技能(如抓取、導(dǎo)航)的“即插即用”,目前,可支持松靈雙臂、睿爾曼單/雙臂、智元人形、宇樹人形等不同類型的具身本體。

“RoboOS可以通過共享記憶系統(tǒng)的方法,實(shí)現(xiàn)多個(gè)機(jī)器人之間的狀態(tài)同步與智能協(xié)作,突破傳統(tǒng)機(jī)器人協(xié)作中‘信息孤島’限制,實(shí)現(xiàn)跨本體協(xié)作控制。”智源研究院相關(guān)業(yè)務(wù)負(fù)責(zé)人告訴記者,“RoboOS可動(dòng)態(tài)管理多機(jī)器人任務(wù)隊(duì)列,支持優(yōu)先級(jí)搶占與資源優(yōu)化分配,確保復(fù)雜場(chǎng)景下實(shí)時(shí)響應(yīng),實(shí)現(xiàn)高并發(fā)任務(wù)調(diào)度。此外,RoboOS可基于執(zhí)行反饋動(dòng)態(tài)調(diào)整策略,結(jié)合環(huán)境變化,持續(xù)優(yōu)化任務(wù)規(guī)劃,提升魯棒性,做到實(shí)時(shí)閉環(huán)優(yōu)化?!?/span>

從觀看演示視頻發(fā)現(xiàn),在“遞送蘋果和水果刀”的任務(wù)場(chǎng)景中,基于RoboOS及RoboBrain,睿爾曼單臂機(jī)器人、宇樹人形G1、松靈雙臂機(jī)器人成功實(shí)現(xiàn)了相互之間的分工協(xié)作?!癛oboOS接收‘拿離杯子最近的水果,并遞送一把水果刀’指令后,遞送RoboBrain進(jìn)行任務(wù)拆解,并將拆解后的子任務(wù)分發(fā)給3臺(tái)跨本體機(jī)器人。RoboBrain通過 ‘空間記憶’ 感知環(huán)境,確定果籃、蘋果位置,并拆解任務(wù)為宇樹G1挑揀蘋果、睿爾曼傳遞果籃、松靈機(jī)器人抓取水果刀、睿爾曼返回幾個(gè)步驟。在各機(jī)器人本體執(zhí)行子任務(wù)過程中,由RoboOS提供端云協(xié)作能力,將任務(wù)規(guī)劃為技能粒度,實(shí)現(xiàn)云端RoboBrain分發(fā)規(guī)劃,端側(cè)執(zhí)行技能并實(shí)時(shí)反饋?!敝窃囱芯吭合嚓P(guān)業(yè)務(wù)負(fù)責(zé)人向記者解釋視頻的內(nèi)容。

目前,智源研究院依托多模態(tài)大模型技術(shù)優(yōu)勢(shì)資源,正在聯(lián)合北大、清華、中國科學(xué)院等高校院所以及銀河通用、樂聚、加速進(jìn)化、宇樹等產(chǎn)業(yè)鏈上下游企業(yè),積極建設(shè)具身智能創(chuàng)新平臺(tái),重點(diǎn)開展數(shù)據(jù)、模型、場(chǎng)景驗(yàn)證等研究。此次智源研究院發(fā)布的跨本體具身大小腦協(xié)作框架RoboOS及開源具身大腦RoboBrain,將有機(jī)融合和廣泛鏈接不同構(gòu)型的具身本體與豐富多元的具身模型,加速具身智能跨本體協(xié)作與規(guī)?;瘧?yīng)用。

開源鏈接:具身多模態(tài)大腦模型RoboBrainGithub: https://github.com/FlagOpen/RoboBrainGitee: https://gitee.com/flagopen/robo-brainHuggingface:https://huggingface.co/BAAI/RoboBrain

為機(jī)器人操作任務(wù)設(shè)計(jì)的高質(zhì)量異構(gòu)數(shù)據(jù)集ShareRobotGitHub:https://github.com/FlagOpen/ShareRobotGitee: https://gitee.com/flagopen/share-robotHuggingface: https://huggingface.co/datasets/BAAI/ShareRobot

來源:北京國際創(chuàng)新中心、量子位、北京海淀

煤科總院出版?zhèn)髅郊瘓F(tuán)成立于2015年,擁有科技期刊21種。其中,SCI收錄1種,Ei收錄5種、CSCD收錄6種、Scopus收錄7種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動(dòng)計(jì)劃入選期刊4種,是煤炭行業(yè)最重要的科技窗口與學(xué)術(shù)交流陣地,也是行業(yè)最大最權(quán)威的期刊集群。

《智能礦山》

Journal of Intelligent Mine

月刊CN 10-1709/TN,ISSN 2096-9139,聚焦礦山智能化領(lǐng)域產(chǎn)學(xué)研用新進(jìn)展的綜合性技術(shù)刊物。

主編:王國法院士

投稿網(wǎng)址:www.chinamai.org.cn(期刊中心-作者投稿)

聯(lián)系人:李編輯 010-87986441

往期薦讀

往期特刊

中國煤科特刊

陜煤集團(tuán)特刊

神東專欄

重大進(jìn)展特刊

露天礦特刊

理事單位特刊

紅柳林煤礦特刊

創(chuàng)新技術(shù)特刊

創(chuàng)刊號(hào)

版權(quán)聲明

本刊對(duì)已出版文章持有電子版、網(wǎng)絡(luò)版及進(jìn)行網(wǎng)絡(luò)技術(shù)交流和與各網(wǎng)絡(luò)數(shù)據(jù)庫合作的權(quán)利,稿酬一次性付清,版權(quán)歸本刊與作者共同所有,如不同意,請(qǐng)?jiān)谕陡鍟r(shí)聲明。



聲明:本文系轉(zhuǎn)載自互聯(lián)網(wǎng),請(qǐng)讀者僅作參考,并自行核實(shí)相關(guān)內(nèi)容。若對(duì)該稿件內(nèi)容有任何疑問或質(zhì)疑,請(qǐng)立即與鐵甲網(wǎng)聯(lián)系,本網(wǎng)將迅速給您回應(yīng)并做處理,再次感謝您的閱讀與關(guān)注。

相關(guān)文章
我要評(píng)論
表情
歡迎關(guān)注我們的公眾微信