<转载> AWS 上的 NVIDIA NIM 微服务大幅增强 AI 推论能力
生成式人工智能（AI）正在快速改变各产业的发展样貌，带动对安全且高效能推论解决方案的需求，以有效率又具备成本效益的方式扩充日益复杂的模型。
扩大与 NVIDIA 的合作范围，Amazon Web Services（AWS）今日在 AWS re:Invent 年度大会上宣布已经将NVIDIA NIM 微服务扩展至主要的 AWS AI 服务，以支持更快速的 AI 推论，以及减少生成式 AI 应用的延迟时间。
NVIDIA NIM 微服务现在可以直接在 AWS Marketplace、Amazon Bedrock Marketplace 和 Amazon SageMaker JumpStart 取得，让开发人员可以更轻松为常用模型大规模部署经过 NVIDIA 优化的推论功能。
NVIDIA NIM 是 AWS Marketplace 提供的 NVIDIA AI Enterprise 软件平台一部分，为开发人员提供一套简单易用的微服务，专为在跨云端、数据中心和工作站安全可靠地部署高效能、企业级 AI 模型推论而设计。
这些预先建置的容器建置在强大的推论引擎上，例如 NVIDIA Triton 推论服务器、NVIDIA TensorRT、NVIDIA TensorRT-LLM 与 PyTorch，并支持广泛的 AI 模型，从开源社群模型到 NVIDIA AI Foundation 模型与客制化模型。
NIM 微服务可以部署于各种 AWS 服务，包括 Amazon Elastic Compute Cloud（EC2）、Amazon Elastic Kubernetes Service（EKS）、Amazon Machine Image（AMI）及 Amazon SageMaker。
开发人员可以在NVIDIA API 目录上预览超过 100 个由常用模型与模型系列所建立起的 NIM 微服务，包括 Meta 的 Llama 3、Mistral AI 的 Mistral 与 Mixtral、NVIDIA Nemotron、Stability AI 的 SDXL 等。最常用的模型都可自行托管部署在 AWS 服务上，并且经过优化，能够在 AWS 上的 NVIDIA 加速运算实例上运行。
现在可直接在 AWS 上取得的 NIM 微服务包含：
NVIDIA Nemotron-4 可在 Amazon Bedrock Marketplace、Amazon SageMaker Jumpstart 和 AWS Marketplace 上取得。这是一款尖端的大型语言模型，专门用于产生近似真实世界数据的多样化合成数据，可增强多个领域客制化大型语言模型的效能与稳健性。
Llama 3.1 8B-Instruct 开放在 AWS Marketplace 上取得。这个有着 80 亿个参数的多语言大型语言模型已针对语言理解、推理和文字产生使用个案进行预先训练及指令调校。
Llama 3.1 70B-Instruct 可以在 AWS Marketplace 上取得。这个有着 700 亿个参数，且完成预先训练、指令调校的模型已针对多语言对话进行优化。
Mixtral 8x7B Instruct v0.1 能够在 AWS Marketplace 上使用。这个权重开源的高质量稀疏混合专家模型可以遵循指令、完成请求与产生创意的文字格式。
AWS 上适用于每个人的 NIM
各产业的客户及合作伙伴都在利用 AWS 上的 NIM 来加快上市速度、维持生成式 AI 应用与数据的安全性及控制力，并降低成本。
IT 咨询与数字服务供货商 SoftServe 已开发出六个完全部署在 AWS 上，且由 NVIDIA NIM 与 AWS 服务加速的生成式 AI 解决方案。这些解决方案在 AWS Marketplace 上提供，包括 SoftServe Gen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator 和 Speech Recognition Platform。
这些解决方案均以 NVIDIA AI Blueprints 为基础，这套全面性的参考工作流程能够加快开发和部署 AI 应用，并且具备 NVIDIA 加速函式库、软件开发工具包及 NIM 微服务，适用于 AI 代理、数字孪生等方面。
立即开始使用 AWS 上的 NIM
开发人员可以按照自己的独特需求与要求，在 AWS 上部署 NVIDIA NIM 微服务。如此一来，开发人员和企业就能藉由各种 AWS 服务，利用经过 NVIDIA 优化的推论容器发展出高效能 AI。
欢迎造访 NVIDIA API 目录试用超过 100 种不同的 NIM 优化模型，并且申请开发人员授权或 90 天的 NVIDIA AI Enterprise 试用授权，即可开始在 AWS 服务上部署微服务。开发人员也可以在 AWS Marketplace、Amazon Bedrock Marketplace 或 Amazon SageMaker JumpStart 探索 NIM 微服务。