該模型即使只在27小時的行走數(shù)據(jù)上訓(xùn)練，也能轉(zhuǎn)移到現(xiàn)實世界，并且能夠泛化到訓(xùn)練期間未見過的命令，比如向后行走。這些發(fā)現(xiàn)為通過生成模型學(xué)習(xí)具有挑戰(zhàn)性的現(xiàn)實世界控制任務(wù)提供了一個有希望的路徑。

谷歌發(fā)布具身智能機器人RT-H

3月4日，谷歌DeepMind團隊發(fā)布論文，發(fā)布了最新版的 RT 機器人——RT-H，它能通過將復(fù)雜任務(wù)分解成簡單的語言指令，再將這些指令轉(zhuǎn)化為機器人行動，來提高任務(wù)執(zhí)行的準確性和學(xué)習(xí)效率。

舉例來說，給定一項任務(wù)，如「蓋上開心果罐的蓋子」和場景圖像，RT-H會利用視覺語言模型（VLM）預(yù)測語言動作（motion），如「向前移動手臂」和「向右旋轉(zhuǎn)手臂」，然后根據(jù)這些語言動作，預(yù)測機器人的行動（action）。

這個行動層級（action hierarchy）對于提高機器人完成任務(wù)的準確性和學(xué)習(xí)效率非常有幫助，使得RT-H在一系列機器人任務(wù)中的表現(xiàn)都優(yōu)于RT-2。

AI+應(yīng)用

Perplexity接近敲定新融資，估值或翻番至10億美元

3月5日消息，知情人士透露，旨在挑戰(zhàn)谷歌網(wǎng)絡(luò)搜索主導(dǎo)地位的AI初創(chuàng)公司Perplexity即將敲定一筆新的融資交易，公司估值有望達到近10億美元，較幾個月前的最新融資估值大約翻番。

Perplexity利用先進的AI模型為搜索查詢提供直接答案，而不是提供網(wǎng)站鏈接列表，這也是谷歌正在研究的。知情人士稱，Perplexity最近的年收入超過1000萬美元。根據(jù)數(shù)據(jù)服務(wù)公司Similarweb的初步估計，該公司移動和桌面應(yīng)用程序的訪問量在2月增長8.6%，達到約5000萬用戶。

兩個月前，Perplexity剛剛宣布已籌集到7400萬美元資金，得到亞馬遜前CEO貝索斯和風(fēng)險投資公司Institutional Venture Partners的支持。這筆交易對這家初創(chuàng)公司的估值為5.2億美元。

華人團隊打造第一個AI軟件工程師Devin

3月13日，Cognition AI在X上推出了全球首個AI軟件工程師Devin。

Devin是一個自主代理（Autonomous Agent），掌握全棧技能，能自主學(xué)習(xí)不熟悉的技術(shù)，端到端地構(gòu)建和部署應(yīng)用程序，自己改bug，甚至還能訓(xùn)練和微調(diào)自己的AI模型。

在SWE-bench基準測試中，它無需人類幫助，可解決13.86%的問題。相比之下，GPT-4只能處理1.74%的問題，且都需要人類提示告知處理哪些文件。據(jù)介紹，Devin已經(jīng)成功通過一家AI公司的面試，并在Upwork上完成了實際工作。

此前，Cognition AI已經(jīng)獲得了彼得·蒂爾的Founders Fund基金領(lǐng)投的2100萬美元A輪融資。

DeepMind發(fā)布3D通用智能體SIMA

3月13日，Google DeepMind發(fā)布了適用于3D虛擬環(huán)境的通用智能體（A generalist AI agent for 3D virtual environments），名字命名為“SIMA”。

SIMA是一個針對游戲和3D虛擬環(huán)境的通用智能體。這標志著首次有一個智能體能夠證明它可以遵循自然語言指令，在大量游戲世界中執(zhí)行廣泛任務(wù)，類似于人類的游玩方式。

SIMA僅依賴于3D環(huán)境提供的圖像和用戶給出的自然語言指令。通過鼠標和鍵盤的輸出，它在600項技能上進行評估，這些技能涵蓋了導(dǎo)航和對象交互等領(lǐng)域——例如“向左轉(zhuǎn)”或“砍倒樹”。

A16z發(fā)布消費級AI應(yīng)用Top 100

3月13日，A16z發(fā)布了最新的全球AI產(chǎn)品的 Top100 榜單，分為網(wǎng)絡(luò)產(chǎn)品與移動產(chǎn)品。16z發(fā)現(xiàn)，與2023年9月發(fā)布的報告相比，榜單上超過40%的公司都是新公司。

AI融資

傳月之暗面獲得8億美元融資

據(jù)知情人士對外透露，月之暗面近期獲得了8億美元新融資，其中阿里投資了7.9億美元，礪思資本投資1000萬美元。