鐵甲工程機械網(wǎng)> 工程機械資訊> 行業(yè) > 從單體智能到群體智能 ,一腦多機時代來了→

從單體智能到群體智能 ,一腦多機時代來了→

語音播報
點擊播放

3月29日,在2025中關村論壇年會“積淀·涌現(xiàn)”未來人工智能先鋒論壇上,北京智源人工智能研究院(以下簡稱“智源研究院”)院長王仲遠發(fā)布了首個跨本體具身大小腦協(xié)作框架RoboOS與開源具身大腦RoboBrain,可實現(xiàn)跨場景多任務輕量化快速部署與跨本體協(xié)作,推動單機智能邁向群體智能,為構(gòu)建具身智能開源統(tǒng)一生態(tài)加速場景應用提供底層技術支持。

基于RoboOS及RoboBrain的多機器人跨本體協(xié)作遞送任務Demo

增強長程操作任務能力

打造感知-認知-決策-行動閉環(huán)

在具身場景中,長程操作任務是機器人執(zhí)行復雜任務的核心能力之一。本次發(fā)布的開源具身大腦RoboBrain融合了機器人任務規(guī)劃、可操作區(qū)域感知、軌跡預測的三維能力,通過將抽象指令映射為具象動作序列,增強長程操作任務的能力,表現(xiàn)出卓越性能。智源研究院相關業(yè)務負責人告訴記者:“RoboBrain由三個模塊組成:用于任務規(guī)劃的基座模型、用于可操作區(qū)域感知的A-LoRA模塊和用于軌跡預測的T-LoRA模塊。在推理時,模型首先感知視覺輸入,并將輸入指令分解為一系列可執(zhí)行的子任務,然后執(zhí)行可操作區(qū)域感知和軌跡預測。RoboBrain采用多階段訓練策略,使其具備長歷史幀記憶和高分辨率圖像感知能力,進而提升場景感知和操作規(guī)劃的能力?!?/span>

據(jù)悉,目前RoboBrain能夠解讀人類指令和視覺圖像,以生成基于實時圖像反饋的行動計劃和評估,預測每一步的軌跡并感知相應的可操作區(qū)域。具體而言,RoboBrain 能夠有效利用環(huán)境信息和交互對象的狀態(tài)——無論是從第一人稱還是第三人稱視角捕捉的圖像——生成針對不同類型機器人操作任務的任務規(guī)劃,并基于人類指令和視覺信息,提供合理的可操作區(qū)域,并能在不同場景中表現(xiàn)出良好的泛化能力,生成既可行又合理的軌跡。

“具身大腦RoboBrain、小腦技能庫以及跨機器人數(shù)據(jù)中樞,是跨本體框架RoboOS的核心要素。具身大腦RoboBrain,負責全局感知與決策,構(gòu)建動態(tài)時空感知、規(guī)劃指導和反饋糾錯機制;小腦技能庫,負責低延遲精準執(zhí)行,實現(xiàn)柔性與精密操作等;跨機器人數(shù)據(jù)中樞,負責實時共享空間、時間和本體記憶,為決策規(guī)劃與優(yōu)化協(xié)作操作提供信息支持,從而形成感知-認知-決策-行動的閉環(huán)?!敝窃囱芯吭合嚓P業(yè)務負責人表示。

一腦多機實現(xiàn)跨本體協(xié)作

從單體智能邁向群體智能

本次論壇還發(fā)布了首個跨本體具身大小腦協(xié)作框架RoboOS,記者從論壇現(xiàn)場獲悉,RoboOS基于“大腦-小腦”分層架構(gòu),通過模塊化設計、智能任務管理和跨本體協(xié)作,可以為機器人提供高效、靈活、可擴展的底層支持,實現(xiàn)從單機智能到群體智能的躍遷。

智源研究院相關業(yè)務負責人告訴記者,在RoboOS的分層架構(gòu)下,具身大腦RoboBrain的復雜場景感知與決策能力,可與小腦技能庫的高效執(zhí)行能力深度結(jié)合,確保協(xié)作框架在長周期、高動態(tài)任務中的穩(wěn)定運行。實現(xiàn)大腦模型(如LLM/VLM)與小腦技能(如抓取、導航)的“即插即用”,目前,可支持松靈雙臂、睿爾曼單/雙臂、智元人形、宇樹人形等不同類型的具身本體。

“RoboOS可以通過共享記憶系統(tǒng)的方法,實現(xiàn)多個機器人之間的狀態(tài)同步與智能協(xié)作,突破傳統(tǒng)機器人協(xié)作中‘信息孤島’限制,實現(xiàn)跨本體協(xié)作控制。”智源研究院相關業(yè)務負責人告訴記者,“RoboOS可動態(tài)管理多機器人任務隊列,支持優(yōu)先級搶占與資源優(yōu)化分配,確保復雜場景下實時響應,實現(xiàn)高并發(fā)任務調(diào)度。此外,RoboOS可基于執(zhí)行反饋動態(tài)調(diào)整策略,結(jié)合環(huán)境變化,持續(xù)優(yōu)化任務規(guī)劃,提升魯棒性,做到實時閉環(huán)優(yōu)化?!?/span>

從觀看演示視頻發(fā)現(xiàn),在“遞送蘋果和水果刀”的任務場景中,基于RoboOS及RoboBrain,睿爾曼單臂機器人、宇樹人形G1、松靈雙臂機器人成功實現(xiàn)了相互之間的分工協(xié)作。“RoboOS接收‘拿離杯子最近的水果,并遞送一把水果刀’指令后,遞送RoboBrain進行任務拆解,并將拆解后的子任務分發(fā)給3臺跨本體機器人。RoboBrain通過 ‘空間記憶’ 感知環(huán)境,確定果籃、蘋果位置,并拆解任務為宇樹G1挑揀蘋果、睿爾曼傳遞果籃、松靈機器人抓取水果刀、睿爾曼返回幾個步驟。在各機器人本體執(zhí)行子任務過程中,由RoboOS提供端云協(xié)作能力,將任務規(guī)劃為技能粒度,實現(xiàn)云端RoboBrain分發(fā)規(guī)劃,端側(cè)執(zhí)行技能并實時反饋?!敝窃囱芯吭合嚓P業(yè)務負責人向記者解釋視頻的內(nèi)容。

目前,智源研究院依托多模態(tài)大模型技術優(yōu)勢資源,正在聯(lián)合北大、清華、中國科學院等高校院所以及銀河通用、樂聚、加速進化、宇樹等產(chǎn)業(yè)鏈上下游企業(yè),積極建設具身智能創(chuàng)新平臺,重點開展數(shù)據(jù)、模型、場景驗證等研究。此次智源研究院發(fā)布的跨本體具身大小腦協(xié)作框架RoboOS及開源具身大腦RoboBrain,將有機融合和廣泛鏈接不同構(gòu)型的具身本體與豐富多元的具身模型,加速具身智能跨本體協(xié)作與規(guī)?;瘧?。

開源鏈接:具身多模態(tài)大腦模型RoboBrainGithub: https://github.com/FlagOpen/RoboBrainGitee: https://gitee.com/flagopen/robo-brainHuggingface:https://huggingface.co/BAAI/RoboBrain

為機器人操作任務設計的高質(zhì)量異構(gòu)數(shù)據(jù)集ShareRobotGitHub:https://github.com/FlagOpen/ShareRobotGitee: https://gitee.com/flagopen/share-robotHuggingface: https://huggingface.co/datasets/BAAI/ShareRobot

來源:北京國際創(chuàng)新中心、量子位、北京海淀

煤科總院出版?zhèn)髅郊瘓F成立于2015年,擁有科技期刊21種。其中,SCI收錄1種,Ei收錄5種、CSCD收錄6種、Scopus收錄7種、中文核心期刊9種、中國科技核心期刊11種、中國科技期刊卓越行動計劃入選期刊4種,是煤炭行業(yè)最重要的科技窗口與學術交流陣地,也是行業(yè)最大最權(quán)威的期刊集群。

《智能礦山》

Journal of Intelligent Mine

月刊CN 10-1709/TN,ISSN 2096-9139,聚焦礦山智能化領域產(chǎn)學研用新進展的綜合性技術刊物。

主編:王國法院士

投稿網(wǎng)址:www.chinamai.org.cn(期刊中心-作者投稿)

聯(lián)系人:李編輯 010-87986441

往期薦讀

往期特刊

中國煤科特刊

陜煤集團特刊

神東專欄

重大進展特刊

露天礦特刊

理事單位特刊

紅柳林煤礦特刊

創(chuàng)新技術特刊

創(chuàng)刊號

版權(quán)聲明

本刊對已出版文章持有電子版、網(wǎng)絡版及進行網(wǎng)絡技術交流和與各網(wǎng)絡數(shù)據(jù)庫合作的權(quán)利,稿酬一次性付清,版權(quán)歸本刊與作者共同所有,如不同意,請在投稿時聲明。



聲明:本文系轉(zhuǎn)載自互聯(lián)網(wǎng),請讀者僅作參考,并自行核實相關內(nèi)容。若對該稿件內(nèi)容有任何疑問或質(zhì)疑,請立即與鐵甲網(wǎng)聯(lián)系,本網(wǎng)將迅速給您回應并做處理,再次感謝您的閱讀與關注。

相關文章
我要評論
表情
歡迎關注我們的公眾微信