NVIDIA发布新的GPU加速微服务和云端点目录

Magpie.AI 2024-03-18 17:18:00

Keywords: NVIDIA, GPU加速, 微服务, 云端点目录, AI模型, CUDA

NVIDIA发布了新的GPU加速的NVIDIA NIM微服务和云端点目录，用于预训练的AI模型在数亿个CUDA启用的GPU上运行。企业可以使用微服务加速数据处理、LLM定制、推理、检索增强生成和防护栏。这些微服务已被广泛应用于AI生态系统，包括领先的应用平台提供商Cadence、CrowdStrike、SAP、ServiceNow等。NVIDIA创始人兼CEO黄仁勋表示：“建立的企业平台拥有大量数据，可以转化为生成式AI副驾驶。”NVIDIA的NIM推理微服务可以将部署时间从几周缩短到几分钟，为语言、语音和药物发现等领域提供行业标准的API。此外，NVIDIA还宣布了两打个医疗NIM和CUDA-X微服务。这些微服务的推出为NVIDIA的全栈计算平台增添了新的一层，连接了模型开发者、平台提供商和企业，为其提供了标准化的路径，以在NVIDIA的CUDA安装基础上优化定制的AI模型。除了领先的应用提供商外，NVIDIA的生态系统中还有数据、基础设施和计算平台提供商，他们正在与NVIDIA微服务合作，为企业带来生成式AI。企业可以在AWS、Google Cloud、Azure和Oracle Cloud Infrastructure等领先的云平台上部署NVIDIA微服务。NVIDIA的AI企业微服务现在可以在超过400个NVIDIA认证系统上支持，包括来自Cisco、戴尔科技、惠普企业、联想和超微的服务器和工作站。NVIDIA的生态系统中还有数百家AI和MLOps合作伙伴，他们也在通过NVIDIA AI Enterprise支持NVIDIA微服务。这些微服务现在可以在ai.nvidia.com免费试用。企业可以在NVIDIA认证系统和领先的云平台上部署NVIDIA AI Enterprise 5.0的生产级NIM微服务。更多信息，请访问NVIDIA的官方网站。