新版本以豆包App为基础,与手机厂商在系统层面协同,重点改进交互、任务执行、本地记忆和检索等能力。
据官方视频介绍,与此前技术预览版相比,此次消费者版本更侧重稳定性与日常可用性。
在交互方面,豆包手机助手提供语音、专用按键等多种唤醒方式,以应对不同场景。专用按键加入指纹鉴权,完成身份验证后无需重复解锁即可唤起助手处理任务;语音唤醒则针对远场、内噪和嘈杂环境做了优化。
新版本的屏幕问答功能也值得关注。用户无需另外截图或切换应用,就能让助手根据当前屏幕内容继续执行任务。官方演示显示,当用户将相机对准室内环境并提出“根据这个装修风格,帮我选一个一米二以内、价格不超过一千元的柜子”时,豆包可结合画面与要求,在电商平台筛选并推荐符合条件的商品。
快科技了解到,这类基于屏幕上下文的处理能力,此前也曾在苹果的相关演示中出现。可以看到,手机助手正在从简单应答,转向理解用户所处场景和实际需求,并进一步完成任务。
除了交互,个人上下文与记忆能力同样是满足个性化需求的重要基础。豆包手机助手提供本地数据搜索工具,可检索相册、短信、便签等内容。例如用户询问港澳通行证何时到期,助手可从手机内保存的信息中查找并给出答案。
办公场景下,消费者版本升级了录音功能,并接入飞书妙记。配合本地搜索工具,用户可以直接追问诸如“昨天用户访谈里提到的产品建议”等具体内容。同时,用户可通过语音输入、三指上滑或同时按住专用按键与音量键,手动保存当前屏幕内容,形成便于本地检索的记忆。
任务执行是本次展示的另一重点。以叫车为例,用户说出“帮我叫一辆去公司的车”,豆包便能确认常用地址、选择车型并发起下单。
此前技术预览版中备受关注的操作手机功能,此次也以Beta版形式开放。豆包方面表示,图形界面操作相关技术仍在快速演进,希望与合作伙伴共同建设开放、规范的手机应用生态。为此,豆包手机助手公布屏幕自动化操作声明协议(SAEP,Screen Automation Execution Protocol),并启动为期30天的规则公示。
根据协议,第三方应用可自行声明操作边界,决定是否允许助手在本应用内进行屏幕自动化操作。豆包方面称,将尊重开发者意愿,对明确拒绝的第三方应用不执行自动化操作。
隐私与安全方面,官方介绍,豆包手机助手在数据收集和处理上遵循“合理必要”与“用户自主控制”原则,并建立分层、分级管理的防护体系。用户可前往官网查看完整的隐私安全白皮书。
据悉,首个豆包手机助手消费者版本将随努比亚 NaviX Ultra 手机首发,目前已开启预约,9月16日正式发售。