NVIDIA发布全新GPU加速NIM微服务和云端节点目录

Magpie.AI 2024-03-18 17:18:00

Keywords: NVIDIA, GPU加速, NIM微服务, 云端节点目录, AI模型

NVIDIA发布了全新的GPU加速NVIDIA NIM微服务和云端节点目录，用于预训练的AI模型，在云端、数据中心、工作站和个人电脑上优化运行，能够利用数亿台CUDA启用的GPU。企业可以利用微服务加速数据处理、LLM定制、推理、检索增强生成和防护栏等功能。这些微服务已被广泛应用于包括卡迪斯、CrowdStrike、SAP、ServiceNow等在内的AI生态系统中。NVIDIA的创始人兼CEO黄仁勋表示，“成熟的企业平台拥有大量数据，可以转化为生成式AI协同工具，这些经过合作伙伴生态系统打造的容器化AI微服务，是各行业企业成为AI公司的基石。”

NIM推理微服务可将部署时间从几周缩短到几分钟，为开发人员提供由NVIDIA推理软件驱动的预构建容器，包括Triton推理服务器和TensorRT-LLM，可在语言、语音和药物发现等领域提供行业标准的API，以便开发人员快速构建AI应用。此外，CUDA-X微服务还提供了端到端的数据准备、定制和训练构建块，以加速各行业的生产AI开发。企业可以使用NVIDIA的微服务在各种基础设施上部署，如AWS、Google Cloud、Azure和Oracle Cloud Infrastructure等领先的云平台，以及Cisco、Dell Technologies、HPE、Lenovo等超过400个NVIDIA认证系统的服务器和工作站上部署NVIDIA的微服务。

以上是关于NVIDIA公司的最新消息，更多信息请访问https://nvidianews.nvidia.com/。