当VMware遇到AI系列之——VMware Private AI Foundation
来源: | 作者:美承EBG | 发布时间: 2024-09-09 | 263 次浏览 | 分享到:

VMware Private AI Foundation 携手 NVIDIA




图片


在 NVIDIA GTC 大会上,VMware by Broadcom 宣布推出与 NVIDIA 合作的 VMware Private AI Foundation 平台的初始版本 。随后的五月,Broadcom 宣布该平台的正式发布,这进一步推动了 Broadcom 和 NVIDIA 的共同使命,即解锁生成式 AI(Gen AI), 并为企业释放生产力。





PART 01

Private AI Foundation概览


图片


VMware Private AI Foundation with NVIDIA 是 VMware Cloud Foundation 上的附加 SKU,NVIDIA AI Enterprise 软件许可证需要单独购买。它利用 NVIDIA NIM(NVIDIA AI Enterprise 的一部分)这一易于使用的微服务,旨在加速在云、数据中心和工作站中部署生成式 AI 模型。




PART 02

Private AI Foundation细节



GPU监控















  • 仪表板- GPU 监控仪表板允许管理员轻松跟踪跨集群的 GPU 指标。此仪表板提供有关 GPU 温度、内存使用率和计算使用情况的实时洞察,使管理员能够缩短基础设施解决时间并提高运营效率。


  • 温度监控- 通过 GPU 温度监控,管理员现在可以在 GPU 过热的早期阶段收到警告,从而最大化 GPU 性能。这使得采取预防措施以防止性能下降和确保 GPU 最佳运行成为可能。


PowerCLI脚本

VMware Private AI Foundation 引入了一系列功能强大、可定制的 PowerCLI 脚本,旨在提高部署效率并最大限度地减少管理员的手动工作量。这些脚本作为自动化工具,在实施 AI 工作负载时简化了基础设施前置条件的部署。让我们深入了解这些脚本的具体功能:


  • VCF 工作负载域部署:此脚本将ESXi主机置入SDDC管理器,并部署VCF工作负载域。该域是设置VMware Private AI Foundation与NVIDIA合作的基础,用于部署AI/ML工作负载。


  • ESXi主机配置:使用 VMware vSphere® Lifecycle Manager TM 功能,该脚本通过无缝安装 NVIDIA AI Enterprise 附带的NVIDIA软件组件(如 NVIDIA vGPU 驱动程序和 NVIDIA GPU 管理守护程序)简化了 ESXi 主机的配置。


  • NSX Edge 集群部署:此脚本有助于将 NSX Edge 集群部署到 VCF 工作负载域,从而实现 AI/ML 工作负载的外部网络连接。


  • 主管集群和深度学习 VM 映像内容库配置:此脚本在VCF 工作负载域内配置主管集群。它还设置了新的深度学习 VM 映像内容库,使用户能够使用预配置的运行时轻松部署 AI/ML 工作负载。




PART 03

作者介绍




图片



Shobhit Bhutani 于 2021 年加入 VMware,担任首席产品营销经理,也是 VMware  Gen AI 产品营销主管。Shobhit在销售和营销方面拥有 20 多年的领导经验。



本文转载自「 VMware by Broadcom中国


图片

上海索电数码科技有限公司是 

VMware by Broadcom 的 Premier 合作伙伴

续约和增购问题欢迎咨询:

📮 xulianyi@suodian-ebg.com