Bing Chat因GPU需求巨大,微软将找Oracle租用
据《The Register》报道,微软计划将Bing搜索中使用的一部分机器学习模型转移到Oracle的GPU超级集群,以满足其AI服务的高需求。这项跨多年的协议旨在帮助微软应对其AI服务的爆炸式增长,尤其是Bing Chat的推出,该服务于今年2月率先将生成式AI聊天机器人引入其搜索引擎中。
微软的Divya Kumar表示,与Oracle的合作以及与Microsoft Azure AI基础设施的协同使用,将有助于扩展客户访问并提高搜索结果的速度。这项合作基本上可以理解为,微软需要更多的计算资源来应对其AI服务的增长,而Oracle恰好有成千上万的Nvidia A100和H100GPU可供租赁。
Bing Chat不仅需要大规模的GPU集群用于训练,还需要在推断阶段以规模运行。而在这方面,Oracle的GPU集群将发挥关键作用。这两家云服务提供商的最新合作利用了Oracle Interconnect for Microsoft Azure,允许在Azure中运行的服务与Oracle Cloud Infrastructure(OCI)中的资源互动。此前,这两家超级企业已经使用该服务,允许客户将在Azure中运行的工作负载连接到OCI数据库。
根据StatCounter的数据,截止到2023年10月,Bing在全球网络搜索市场份额中占3.1%,而Google占91.6%,但与上月的3%相比有所增长。在桌面设备上,Bing的市场份额达到9.1%,而在平板设备上为4.6%。尽管如此,是否Bing真的如数据所示非常受欢迎仍有争议。也有可能微软希望营造Bing需求旺盛的形象,或者确实需要额外的计算资源来满足其增长需求。
Oracle声称其云超级集群每个都可以扩展到32,768个Nvidia A100或16,384个H100GPU,使用超低延迟的Remote Direct Memory Access(RDMA)网络。此外,它还提供了支持高度并行应用程序的高性能集群文件存储。
尽管微软尚未透露需要多少Oracle的GPU节点来支持其AI服务和应用程序,但这次合作不是微软和Oracle首次相互帮助。早在去年9月,Oracle宣布将其数据库系统放置在Microsoft Azure数据中心,旨在降低OCI中运行的Oracle数据库与Azure工作负载之间的延迟。
稿源:站长之家