亚马逊使用 NVIDIA TensorRT-LLM 和 GPU 将全新 AI 工具的推理速度提高一倍，帮助卖家更快创建和优化商品详情页。
很难想象有哪个行业比在线零售业竞争更激烈、节奏更快。
卖家需要创建富有吸引力且富含大量信息的商品详情页。这些具体介绍必须引人入胜、夺人眼球且深入人心。
亚马逊正在亚马逊弹性计算云（Amazon EC2）上使用 NVIDIA Tensor Core GPU 赋能一个生成式 AI 工具，从而在现代零售业发展中找到这种平衡。
亚马逊全新的生成式 AI 功能可以帮助卖家无缝生成引人注目的标题、要点、描述和产品属性。
开始时，亚马逊会识别有待改进的商品详情页，并且利用生成式 AI 自动生成高质量的内容。然后卖家可以根据自己的需要完善这些内容，也可以直接将自动生成的内容提交至亚马逊目录。
在此之前，卖家需要花费大量的时间和精力创建详细的商品详情页，而现在，这种简化的流程使他们有更多的时间专注于其他的任务。
NVIDIA TensorRT-LLM 软件现已在 GitHub 上线，用户可以通过为生产级 AI 提供企业级安全、支持和可靠性的 NVIDIA AI Enterprise 访问该软件。
TensorRT-LLM 开源软件使 AI 推理变得更快速、更智能。它可与大语言模型协同工作，比如亚马逊为上述功能构建的模型就是在大量文本上训练而成的。
它还支持多 GPU 和多节点推理、动态批处理、分页关注以及具有 FP8 精度的 Hopper Transformer Engine，所有这些都能改善延迟和提高效率，为卖家带来更好的体验。
通过使用 TensorRT-LLM 和 NVIDIA GPU，亚马逊为卖家提供的生成式 AI 工具在成本和所需 GPU 方面的推理效率提高了 2 倍，比早期没有使用 TensorRT-LLM 时相比则降低了 3 倍的推理延迟。
效率的提高使其更加环保，而降低了 3 倍的延迟则使亚马逊目录生成式 AI 功能的反应更迅速。
这些生成式 AI 的功能可以为卖家节省时间，让他们能够更轻松地提供更丰富的信息。例如：
可以为无线鼠标创建一个内容丰富的详情页，其中信息包含人体工程学设计、电池寿命长、光标设置可调且兼容各种设备；还可以生成产品属性，如颜色、尺寸、重量和材料。这些细节可以帮助客户做出明智的决策并减少退货的发生。
借助生成式 AI，亚马逊的卖家可以快速、轻松地创建更具吸引力的商品详情页，同时提高能效，进而接触到更多客户，更快地发展业务。
从今天起开始使用 TensorRT-LLM 并通过 NVIDIA AI Enterprise 获得企业级支持，请访问：https://developer.nvidia.com/blog/optimizing-inference-on-llms-with-tensorrt-llm-now-publicly-available/
GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。扫描下方海报二维码，立即注册 GTC 大会。
