据悉,苹果研究团队在最新论文中宣称,他们开发了一款名为 ReALM 的设备端模型,在某些方面优于 GPT-4。
ReALM 具有极小的参数量(80M、250M、1B 和 3B),适合在移动设备上运行。它的研究重点是识别文本中不同实体(如人名、地点)之间的指代关系。
论文将实体分为三种类别:
- 屏幕实体:当前设备屏幕上显示的内容。
- 对话实体:与对话相关的实体,如用户联系人。
- 后台实体:与当前操作或屏幕显示内容无关的实体,如播放中的音乐。
研究发现,虽然大型语言模型在许多任务上表现出色,但它们在处理非对话实体(如屏幕实体和后台实体)的指代关系方面潜力尚未得到充分挖掘。
ReALM 采用了一种新的方法,其性能与 GPT-3.5 和 GPT-4 相比,表现出较小的模型与 GPT-4 相当,而较大的模型则明显优于 GPT-4。
该研究有望提升苹果设备上 Siri 助理的性能,使其更好地理解和处理用户询问中的上下文信息。