Google DeepMind發表AI滑鼠指標 理解「這」與「那」革新互動

Date:

圖/本報AI製圖(示意圖)

商傳媒|何映辰/台北報導

Google DeepMind 正在研發一款結合人工智慧的滑鼠指標,這項技術能理解使用者在螢幕上點擊的上下文,是逾半世紀以來滑鼠指標設計的重大突破。這項創新整合了 Google 的 Gemini AI 模型與實驗性的情境感知滑鼠指標,旨在讓 AI 助手能更直覺地融入數位互動,免去使用者在不同應用程式間複製、貼上或拖曳內容的繁瑣操作,提升使用流暢度。

根據《The Register》報導,現行的 AI 助手往往需要使用者手動將內容複製到獨立的聊天介面,造成使用上的阻礙。Google DeepMind 的研究團隊則希望實現「直覺式 AI」,讓 AI 能在使用者使用的所有工具中提供協助,而不會中斷其操作流程。這個 AI 滑鼠指標將與電腦麥克風協同運作,讓 Gemini 能在使用者點擊螢幕的同時接收語音指令,進而理解「這個」、「那個」等自然語言指示。

一項展示範例顯示,使用者只要用滑鼠指向螢幕上的螃蟹圖示並說「把這個移到這裡」,系統就能理解語境,自動移動該圖示。這項技術基於「保持流暢性」、「展示與說明」、「將像素轉化為可操作實體」以及「基於人類自然溝通」四大設計原則。其中,「將像素轉化為可操作實體」允許滑鼠指標識別螢幕內容中的結構化物件,例如能將筆記的照片轉換為待辦事項清單。

歷史上,首款電腦滑鼠是由道格拉斯·恩格爾巴特(Doug Engelbart)和比爾·英格利許(Bill English)於 1964 年製造的原型機,並在 1970 年獲得專利,當時恩格爾巴特就曾提及人機互動應更自然便利。Google DeepMind 的研究正是延續了這項願景,讓 AI 能夠在不中斷使用者流程的情況下,提供更深層次的互動。

這項名為「Magic Pointer」的功能預計將在即將推出的 Googlebook 筆記型電腦平台上亮相。此外,Gemini in Chrome 的使用者未來也能夠指向網頁特定區域並提出問題。目前,這款 AI 強化指標的實驗性演示已透過 Google AI Studio 提供,而 Google 也計劃在包括 Google實驗室(Google Labs)旗下的 Disco 在內的其他平台繼續測試這項概念。

927bfe4a 0a4c 447e 9e89 e78918c53716

相關新聞推薦

正在載入相關新聞…

Share post:

spot_imgspot_img

熱門

相關新聞
Related

響應AI新十大建設浪潮—智域Novaryn Labs攜手產業推動科技創新、人才培育與永續發展

「智域Novaryn Labs」以科技創新驅動未來,以永續公益創造價值,攜手迎接AI智慧新時代。在AI時代快速到來之際,智域Novaryn Labs持續投入科技創新推廣、AI產業交流、數位轉型教育及人才培育工作,並結合永續發展與公益理念,積極參與智慧科技生態圈建設,希望透過跨領域合作與資源整合,共同推動台灣產業升級與人才發展。

從一場旅行找到人生方向—永續生活倡導者劉鴻鑫打造「晴日悠境」推廣旅行與素食文化:打造結合健康、交流與善念的生活平台

永續生活倡導者劉鴻鑫秉持「以旅行拓展視野、以素食尊重生命」的理念,創立結合旅行、健康與素食文化的交流平台—晴日悠境,希望透過社群凝聚志同道合的人,一同分享生活、交流想法,實踐健康、友善且充滿善念的生活方式。

回顧花蓮震後重建之路!「晨曦綠苑」晨爸范昊晨團隊無私奉獻:去年923熱血身影成災民心中最暖陽光

花蓮近年經歷多次大自然考驗,在各界攜手努力下,災區已逐步走出陰霾、重現生機。回顧去年(2025年)9月23日災情最為嚴峻的時刻,知名民間力量「晨曦綠苑」與創辦人范昊晨(晨爸)團隊在第一時間挺進第一線的無私身影,至今仍讓許多花蓮鄉親感念在心。

【專題報導】創辦人林柏宇:以金融技術轉化公益,讓善意成為新時代的價值語言

今年47歲的創辦人林柏宇,目前投身金融技術整合領域,具備賓夕法尼亞大學華頓商學院背景,並擁有 CFP 認證理財規劃顧問、FRM金融風險管理師、Geprüfter Betriebswirt 認證企業管理師等專業資歷。