Project Astra,是谷歌推出的全新的项目,是对标 OpenAI GPT-4o 的最新模型。Project Astra是一个实时、多模式的人工智能助手,通过接收信息、记住它所看到的内容、处理该信息和理解上下文细节来与周围的世界进行交互,它的语音交互比当前形式的Google Assistant更自然,没有延迟或延迟。
Project Astra的特性
音频识别。在演示视频中,用户要求Project Astra在发出声音的东西时通知她,助手回答称,它能够识别到一个正在发声的扬声器。
视觉处理。Project Astra在处理视觉方面甚至被视为整场发布会的最大亮点。Project Astra通过摄像头记录下瞬间出现的眼镜,并正确识别出了镜头中苹果的位置。
Project Astra的好处
Astra项目的交互是通过实时语音实现的,不需要唤醒词。用户询问Astra项目中视频显示器上的代码有何作用,Astra项目立即进行了解释,没有任何延迟。
Astra计划具备高效的信息处理能力,通过对视频帧进行连续编码并将视频和语音结合成事件时间线,然后将信息存储在缓存中以便回顾。