首页 > 业界 > 关键词  > 英伟达H100最新资讯  > 正文

GPU推理时代终结?世界芯片加持推理狂飙20倍,英伟达H100也被干趴!

2024-08-28 14:24 · 稿源:新智元公众号

LLM若想高速推理,现如今,连GPU都无法满足了?曾造出世界最大芯片公司Cerebras,刚刚发布了全球最快的AI推理架构——Cerebras Inference。运行Llama3.18B时,它能以1800token/s的速率吐出文字。不论是总结文档,还是代码生成等任务,响应几乎一闪而过,快到让你不敢相信自己的眼睛

......

本文由站长之家合作伙伴自媒体作者“新智元公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 英伟达AI芯片最大买家揭晓!微软力压同行霸榜

    Omdia的最新研究数据显示,微软成为英伟达旗舰产品Hopper芯片的最大买家,其购买量远超其他科技巨头。微软今年采购了48.5万颗Hopper芯片,这一数字是英伟达在美国第二大客户Meta的两倍多,后者仅购买了22.4万颗。微软之所以要购买这么多AI芯片,主要是由于微软不仅需要数据中心运行自己的AI服务要通过Azure部门将算力出租给云服务客户。

  • 英伟达在华涉反垄断突遭调查!中国是英伟达Q3主要收入来源

    日前,国家市场监管总局发布公告,因英伟达公司涉嫌违反《中华人民共和国反垄断法》及《市场监管总局关于附加限制性条件批准英伟达公司收购迈络思科技有限公司股权案反垄断审查决定的公告》,市场监管总局依法对英伟达公司开展立案调查。此次反垄断事件涉英伟达2020年完成的对以色列网络设备商迈络思的收购,该笔收购作价69亿美元,为英伟达史上最大一笔收购。英伟达的芯片中有大量零部件产自中国,这与全球汽车供应链的复杂性道理相通。

  • 小米YU7座舱前瞻:有特殊屏幕、英伟达智驾芯片拖上市后腿

    近日,小米第二款车型YU7正式登陆工信部按照小米官方的说法,这款车将于明年6-7月份上市。新车会提前一个季度,也就是三个月登陆工信部后就会发布上市,为何小米YU7会提前半年呢?雷军的解释是:希望YU7测试车可以尽早拆除重伪装,有助于做更全面、更细致的长时间大规模测试,来确保产品质量,做出更好的产品。目前这些仅为猜测,但相信小米YU7的座舱绝对会新惊喜等待着大家。

  • 英伟达生成式AI超级电脑发布:AI性能提高1.7249美元

    据报道,英伟达推出一款名为JetsonOrinNanoSuper”的生成式人工智能超级电脑。与前代产品相比,JetsonOrinNanoSuper在性能上实现了70%的提升,每秒可执行惊人的67兆次INT8运算,同时,其内存带宽也大幅提升50%,达到了102GB/s的高速水平。JetsonOrinNanoSuper不仅限于聊天机器人的开发,更在视觉AI代理、AI机器人部署等多个领域展现出广泛的应用前景。

  • 英伟达AR眼镜专利曝光:将采用数字全息技术

    英伟达在美国专利及商标局官网上公布了一项名为“无背光增强现实数字全息技术”的AR眼镜专利。这项创新技术于2024年6月提交申请,并于2025年1月2日正式对外公开。英伟达的这项专利技术的公布,预示着AR眼镜技术的进一步创新和发展,为未来的市场发展提供了新的可能性。

  • 抖音李亮:字节70亿美元购买英伟达芯片不实 张一鸣从未参与算力采购和数据中心建设

    针对今日媒体报道的字节跳动70亿美元购买英伟达芯片的消息,抖音集团副总裁李亮回应称,相关报道多处不实且数字不准确。另外,他还表示,字节的算力采购和数据中心的建设,由系统部的同事负责,张一鸣从未参与,报道中的描述完全不属实。此前有媒体报道称,字节跳动计划2025年斥资最多70亿美元购买英伟达芯片。由此,字节跳动成为此类AI芯片的全球最大买家之一。�

    5天前
  • 7亿美元!英伟达完成收购以色列软件初创公司Run:ai

    据报道,英伟达公司已完成对以色列初创公司Run:ai的收购,获得了可帮助智能计算设备所有者充分利用其硬件的软件。Run:ai在其官方网站上发布声明,指出该软件目前专为英伟达系统打造,并将采取开源模式。Run:ai由OmriGeller和RonenDar于2018年共同创立,此次并购无疑将为其未来的发展注入新的活力。

  • 突发!英伟达涉嫌违反反垄断法 市场监管总局立案调查

    快科技12月9日消息,据国家市场监督管理总局公众号,近日,因英伟达公司涉嫌违反《中华人民共和国反垄断法》及《市场监管总局关于附加限制性条件批准英伟达公司收购迈络思科技有限公司股权案反垄断审查决定的公告》(市场监管总局公告〔2020〕第16号),市场监管总局依法对英伟达公司开展立案调查。截稿前,英伟达美股盘前短线下挫,现跌1.2%。据了解,2021年9月,�

  • 英伟达黄仁勋大手笔!越南首富AI医疗公司被纳入麾下

    英伟达与越南政府携手,宣布了一项重要合作:在越南建立AI研究中心。通过建设AI基础设施和扶持相关创新企业,加速推动越南人工智能发展进程。据Statista数据显示,预计到2030年全球智能医疗市场将达到6000亿美元。

  • 一句话一张图秒变3D动画,4K级超清画质!英伟达祭出新作,游戏生成世界成真

    【新智元导读】英伟达团队再次于自己的老本行大发光彩。近日发布的Edify3D支持用户从文本提示或者图像来直接生成4K级别的3D实体与场景,这再次为游戏与影视设计行业注入了新的AI活力。其研究团队致力于推进和发展3D资产自动化生成的新工具,使3D内容创作更加易于。

    24天前

热文

  • 3 天
  • 7天