NVIDIA推出NIM™推理微服务，加速企业AI应用部署

Magpie.AI 2024-06-02 08:13:00

Keywords: NVIDIA, NIM, 推理微服务, 企业AI应用, 生成式AI

NVIDIA宣布推出NIM™推理微服务，为企业AI应用部署加速

2024年6月2日，台湾台北（GLOBE NEWSWIRE）-- COMPUTEX -- NVIDIA今天宣布，全球2800万开发者现在可以下载NVIDIA NIM™——提供优化容器的模型的推理微服务，以便在云端、数据中心或工作站上部署，使他们能够在几分钟内轻松构建用于副驾驶员、聊天机器人等生成式AI应用，而不是几周。这些新的生成式AI应用变得越来越复杂，通常利用多个具有不同功能的模型来生成文本、图像、视频、语音等。NVIDIA NIM通过提供一种简单、标准化的方式来将生成式AI添加到他们的应用程序中，显著提高了开发人员的生产力。NIM还使企业能够最大化其基础设施投资。例如，在NIM上运行Meta Llama 3-8B可以在加速基础设施上产生高达3倍的生成式AI令牌，而不使用NIM只能产生更多的响应。近200家技术合作伙伴，包括Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI和Synopsys等，正在将NIM集成到其平台中，以加速领域特定应用程序的生成式AI部署，如副驾驶员、代码助手和数字人类化身。Hugging Face现在提供NIM，首先是Meta Llama 3。NVIDIA创始人兼首席执行官黄仁勋表示：“每个企业都希望将生成式AI纳入其运营，但并非每个企业都有专门的AI研究团队。集成到各个平台，开发者可以随处访问，运行于任何地方——NVIDIA NIM正在帮助技术行业使生成式AI对每个组织都可以触手可及。”企业可以通过NVIDIA AI Enterprise软件平台在生产环境中部署NIM。从下个月开始，NVIDIA Developer Program的成员可以免费访问NIM进行研究和测试。40多个NIM微服务支持各种生成AI模型NIM容器预先构建，用于加速GPU推理模型的部署，可以包括NVIDIA CUDA®软件、NVIDIA Triton Inference Server™和NVIDIA TensorRT™-LLM软件。超过40个NVIDIA和社区模型可以在ai.nvidia.com上作为NIM端点体验，包括Databricks DBRX、谷歌的开放模型Gemma、Meta Llama 3、微软Phi-3、Mistral Large、Mixtral 8x22B和Snowflake Arctic。开发者现在可以从Hugging Face AI平台访问NVIDIA NIM微服务的Meta Llama 3模型。这使开发者可以轻松访问并在其首选云上使用由NVIDIA GPU提供支持的Hugging Face推理端点中运行Llama 3 NIM。企业可以使用NIM来运行用于生成文本、图像和视频、语音和数字人类化身的应用程序。借助NVIDIA BioNeMo™ NIM微服务，研究人员可以构建新型蛋白质结构，加速药物发现。数十家医疗保健公司正在部署NIM，用于支持一系列应用程序的生成式AI推理，包括手术规划、数字助手、药物发现和临床试验优化。借助新的NVIDIA ACE NIM微服务，开发者可以轻松构建和运营交互式、栩栩如生的数字人类化身，用于客户服务、远程医疗、教育、游戏和娱乐应用程序。数百家AI生态合作伙伴集成NIM平台提供商，包括Canonical、Red Hat、Nutanix和VMware（由Broadcom收购）正在支持NIM在开源KServe或企业解决方案上。AI应用公司Hippocratic AI、Glean、Kinetica和Redis也正在部署NIM，以支持生成式AI推理。领先的AI工具和MLOps合作伙伴，包括Amazon SageMaker、微软Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI和Weights & Biases，也已将NIM嵌入其平台，以帮助开发者构建和部署具有优化推理的领域特定的生成式AI应用程序。全球系统集成商和服务交付合作伙伴Accenture、Deloitte、Infosys、Latentview、Quantiphi、SoftServe、TCS和Wipro已经建立了NIM能力，以帮助全球企业快速开发和部署生产AI战略。企业可以在全球基础设施制造商Cisco、戴尔科技、惠普企业、联想和Supermicro的NVIDIA认证系统™上运行NIM启用的应用程序，也可以在服务器制造商ASRock Rack、华硕、技嘉、英业达、英业达、和Wiwynn等厂商的产品上运行。NIM微服务还已集成到亚马逊网络服务、谷歌云、Azure和甲骨文云基础设施中。行业巨头加强生成式AI与NIM业务领袖富士康、英业达、Amdocs、Lowe’s、ServiceNow和西门子等企业正在使用NIM进行制造、医疗保健、金融服务、零售、客户服务等领域的生成式AI应用：富士康——全球最大的电子制造商——正在开发领域特定的LLM，嵌入到其智能制造、智慧城市和智能电动车等内部系统和流程中。英业达——一家台湾电子制造公司——正在利用NIM进行TaME项目，这是一种用于推动本地LLM发展的台湾Mixtral of Experts模型。Amdocs——全球领先的通信和媒体公司软件和服务提供商——正在使用NIM运行客户计费LLM，可以显著降低成本、提高准确性高达30%，并将延迟降低80%，实现几乎实时的响应。Lowe’s——FORTUNE® 50家居建材公司——正在利用生成式AI进行各种用例。例如，该零售商正在利用NVIDIA NIM推理微服务提升员工和客户的体验。ServiceNow——业务转型的AI平台——今年早些时候宣布，它是最早之一的平台提供商之一，可以访问NIM，以便为其客户快速、可扩展和更具成本效益的LLM开发和部署。NIM微服务已集成到Now AI多模型模型中，并可供安装了ServiceNow的生成式AI体验Now Assist的客户使用。西门子——一家专注于工业、基础设施、交通和医疗保健的全球技术公司——正在将其运营技术与NIM微服务集成，用于车间AI工作负载。它还正在使用NIM构建其工业副驾驶的本地版本。可用性开发者可以免费在ai.nvidia.com上体验NVIDIA微服务。企业可以在NVIDIA认证系统和领先的云平台上部署NIM微服务。从下个月开始，NVIDIA Developer Program的成员将获得免费访问NIM进行研究和测试。观看黄仁勋的COMPUTEX主题演讲，了解更多关于NVIDIA NIM的信息。关于NVIDIA NVIDIA（纳斯达克：NVDA）是加速计算的世界领导者。有关更多信息，请联系：Anna KiachianNVIDIA Corporation+1-650-224-9820akiachian@nvidia.com本新闻稿中的某些陈述，包括但不限于关于NVIDIA产品和技术的益处、影响、性能、特性和可用性，包括NVIDIA NIM、NVIDIA CUDA、NVIDIA Triton Inference Server、NVIDIA TensorRT-LLM软件、NVIDIA Developer program、NVIDIA BioNeMo、NVIDIA认证系统和NVIDIA AI Enterprise的合作和与第三方的合作伙伴关系及其益处和影响；第三方使用或采用我们的产品或技术；每个企业都希望将生成式AI纳入其运营；NVIDIA NIM帮助技术行业使生成式AI对每个组织都可以触手可及等均属于前瞻性陈述，这些前瞻性陈述受到风险和不确定性的影响，可能导致结果与预期大为不同。导致实际结果大为不同的重要因素包括：全球经济状况；我们依赖第三方制造、装配、包装和测试我们的产品；技术发展和竞争的影响；开发新产品和技术或增强我们现有产品和技术；市场对我们的产品或合作伙伴的产品的接受程度；设计、制造或软件缺陷；消费者偏好或需求的变化；集成到系统中时我们的产品或技术的意外性能丧失；以及其他因素，这些因素不定期在NVIDIA向证券交易委员会或SEC提交的最新报告中详细说明，包括但不限于其年度报告10-K和季度报告10-Q。NVIDIA提交给SEC的报告副本已经发布在公司的网站上，并可免费从NVIDIA获得。这些前瞻性陈述并不保证未来的业绩，仅截至本日期，除非有法律规定，NVIDIA否认对这些前瞻性陈述进行更新以反映未来事件或情况的义务。© 2024年NVIDIA公司。保留所有权利。NVIDIA、NVIDIA标志、BioNeMo、CUDA、NVIDIA NIM、NVIDIA Triton Inference Server和TensorRT是NVIDIA公司在美国和其他国家的商标和/或注册商标。其他公司和产品名称可能是与其相关的公司的商标。功能、定价、可用性和规格可能会在没有通知的情况下发生变化。此公告附有一张照片，可在以下网址查看：https://www.globenewswire.com/NewsRoom/AttachmentNg/4fe99b19-66e7-4473-b9ff-f1380eae0ff8