视频来自官方,翻译:小互
OpenAI和Be My Eyes合作推出了一款新的APP,旨在帮助视力受限人群实时了解身边场景并提供帮助。这款APP利用了最新的GPT-4o模型,结合了实时视觉和语音能力。
通过这款APP,盲人可以随时了解自己周围的环境,并通过语音助手的帮助做出一些决策。这标志着GPT不再只是一个简单的助手,而是向着朋友的方向迈出了一大步。GPT-4o的新能力让其可以与硬件结合,为用户带来更多可能性。
举例来说,OpenAI在一段演示视频中展示了与专门为视障人士提供帮助的公司BeMyEyes的合作。他们将GPT-4o植入到一位盲人游客的手机中,通过手机摄像头成为了盲人的眼睛。这使得盲人能够得知面前发生的一切,比如白金汉宫的样子、公园的环境,甚至是出租车是否停下等等。
应用特点
- 实时视觉与语音能力:GPT-4o模型结合了实时视觉和语音功能,使得盲人和视力受限用户能够通过语音助手的帮助,随时了解自己周围的环境。
- 决策辅助:通过实时的语音交互,该应用可以帮助用户做出决策,如识别物品、导航指引等。
- 模拟朋友的角色:与传统的AI助手相比,GPT-4o更像是一个朋友,能够以更自然的方式与用户进行交流。
实际应用场景
环境描述:应用可以描述用户面前的建筑、自然景观或其他场景,如白金汉宫的外观或公园的环境。
日常任务辅助:帮助用户识别出租车是否停下,或其他需要视觉判断的简单任务。
技术演示
OpenAI在演示视频中展示了GPT-4o的实际应用,通过将模型植入盲人游客的手机中,借助摄像头功能,实时传递周围环境信息。
硬件结合潜力
GPT-4o的发布预示着AI与硬件结合的更多可能性,为视障人士提供更多便利。
社会意义
这款应用的开发不仅体现了OpenAI在AI领域的技术实力,更重要的是,它强调了科技如何帮助解决社会问题,提高特定群体的生活质量。通过这样的合作,OpenAI正将AI技术转化为具有深远社会影响的实际应用。