邁向 Gemini 2.0 的同時，新一代 Project Astra 將是 Google 探索通用 AI 助理未來功能的研究雛型。與此同時，Google 新推出 Project Mariner 和 Jules，積極擴大 AI 代理（Agent）的應用和開發。

Project Astra

利用 打造的新一代 Project Astra 研究專案，互動體驗有所提升。Project Astra 能夠結合 Google 搜尋、智慧鏡頭及地圖等，如同一般人在日常生活的使用方式。

Project Astra 現在能以多種語言和混合語言方式進行流暢對話，可理解不同的口音和不常見的詞彙。不只如此，透過新的串流能力和原生音訊理解，AI 代理能以與人類對話大致相同的延遲來理解語言。

Google 改善 Project Astra 記憶能力，能夠記憶長達 10 分鐘的內容，並且記住過去使用者與它的更多對話。有了更強的記憶能力，Project Astra 更加個人化。

Google 以一段日常情境影片展示新一代 Project Astra，使用者透過 Pixel 手機的麥克風、喇叭及鏡頭來與 Gemini 互動。比方說，辨識並解釋衣物上的洗衣標示，教導如何使用洗衣機；說明不同地區「司康」（scone）的發音差異；從朋友的讀書清單歸納出閱讀喜好，同時辨識鏡頭拍下的選書適不適合送給朋友；辨識路上的公車是否能到目的地，路上會經過哪些地點。除英語外，也以法語、坦米爾語測試 Project Astra。

不只如此，Google 還以原型眼鏡產品來展示新一代 Project Astra，例如詢問待會是否下雨，詢問路旁景點，詢問回家路途是否經過超市。

如此看來，Google 對智慧眼鏡抱有期待，新推出的 Android XR 可用在智慧眼鏡，如能結合 Project Astra 各式應用，有機會取代手機成為下一個主流消費性電子產品。

▲ Google 展示新一代 Project Astra。

Google 認為真正實用的虛擬助理，必須像人一樣理解並回應複雜且瞬息萬變的世界，能夠收集和記憶所見所聞，理解脈絡並採取行動；還要有主動性、可訓練而且個人化，這樣才能和使用者自然而然、順暢無礙地互動。

年中 Google I/O 2024 開發者大會推出 Project Astra 以來，Google 一直從受信任的測試者使用 Android 手機的情況汲取經驗，使用者寶貴的意見回饋幫助 Google 更了解如何實際應用通用 AI 助理，結合 Gemini 2.0 後可讓通用 AI 助理體驗更好。

Project Mariner & Jules

除 Project Astra 外，Project Mariner 是另一項使用 Gemini 2.0 的研究雛形，從使用者的瀏覽器探索人機互動的未來。

Project Mariner 能夠理解和推理瀏覽器螢幕中的資訊，包括文字、圖像、表單、程式碼等元素，然後透過實驗性的 Chrome 擴充程式，用現有資訊完成繁瑣的多步驟任務。

▲ Google DeepMind 團隊展示 Project Mariner 具體應用。

受信任的測試者現在開始使用 Chrome 擴充程式測試 Project Mariner，目前雖無法全部準確，而且完成任務的速度很慢，但隨著時間演進，Project Mariner 的能力可獲得改善。

最後，Google 新推出的 Jules 是一項實驗性、由 AI 驅動的程式碼代理，直接整合至 GitHub 工作流程。

與只會提出程式碼建議的 AI 助理不同的是，Jules 可在 GitHub 以自主代理運作，它分析程式碼資料庫、執行綜合修復計畫，可同時對多個檔案除錯和修復。它能在開發者的指導和監督下制定並執行計畫、解決問題。

（首圖來源：截圖）

延伸閱讀：

文章看完覺得有幫助，何不給我們一個鼓勵