NVIDIA L40S 数据表

NVIDIA L40S 为数据中心提供无与伦比的AI和图形性能。

生成性AI正在推动变革，为各行业的企业打开了新的机遇前沿。为了通过AI进行转型，企业需要更多的计算资源、更大的规模和广泛的能力，以满足日益多样化和复杂的工作负载的需求。

NVIDIA L40S GPU 是数据中心最强大的通用 GPU，为下一代AI应用提供端到端的加速——从生成AI、大语言模型推理、小模型训练和微调到3D图形、渲染和视频应用。

基于NVIDIA Ada Lovelace架构

第四代Tensor核心 对结构稀疏性的硬件支持和优化的TF32格式提供了开箱即用的性能提升，加速了AI和数据科学模型的训练。使用DLSS加速AI增强的图形功能，在特定应用中提升分辨率和性能。

加速下一代工作负载

• 生成性AI
• 大语言模型推理
• 大语言模型微调和小模型训练
• NVIDIA Omniverse™ Enterprise
• 渲染和3D图形
• 流媒体和视频内容

第三代RT核心 增强的吞吐量和并发光线追踪与着色能力提高了光线追踪性能，加速了产品设计、建筑、工程和施工工作流程的渲染。通过硬件加速的运动模糊，实现令人惊叹的实时动画。

Transformer Engine Transformer Engine显著加速了AI性能并改善了内存利用率，无论是在训练还是推理中。利用Ada Lovelace第四代Tensor核心的强大功能，Transformer Engine智能地扫描变压器架构神经网络的层，并在FP8和FP16精度之间自动转换，以提供更快的AI性能并加速训练和推理。

数据中心就绪 L40S GPU 经过优化，可用于24/7企业数据中心操作，由NVIDIA设计、制造、测试和支持，以确保最大性能、耐用性和正常运行时间。L40S GPU 符合最新的数据中心标准，是网络设备建设系统（NEBS）第三级就绪，并具有带根信任技术的安全启动，为数据中心提供额外的安全层。

技术规格

• GPU架构：NVIDIA Ada Lovelace架构
• GPU内存：48GB GDDR6，支持ECC
• 内存带宽：864GB/s
• 互连接口：PCIe Gen4 x16，双向64GB/s
• CUDA核心：18,176
• 第三代RT核心：142
• 第四代Tensor核心：568
• RT核心性能：209 TFLOPS
• FP32：91.6 TFLOPS
• TF32 Tensor核心：183 I 366* TFLOPS
• BFLOAT16 Tensor核心：362.05 I 733* TFLOPS
• FP16 Tensor核心：362.05 I 733* TFLOPS
• FP8 Tensor核心：733 I 1,466* TFLOPS
• 高峰INT8 Tensor TOPS：733 I 1,466*
• 高峰INT4 Tensor TOPS：733 I 1,466*
• 形态：4.4英寸（高） x 10.5英寸（长），双插槽
• 显示端口：4 x DisplayPort 1.4a
• 最大功耗：350W
• 电源连接器：16针
• 热设计：被动
• 虚拟GPU（vGPU）软件支持：是
• 支持的vGPU配置：请参阅虚拟GPU许可指南
• NVENC I NVDEC：3x NVENC，3x NVDEC（包括AV1编码和解码）
• 带根信任的安全启动：是
• NEBS就绪：第三级
• MIG支持：否
• NVIDIA® NVLink®支持：否

• 含稀疏性

准备好开始了吗？ 要了解更多关于NVIDIA L40S的信息，请访问： www.nvidia.com/l40s

更多信息请访问： NVIDIA L40S GPU 虚拟GPU包装和许可指南