电子行业“AI的裂变时刻”系列报告9：对国产推理算力芯片厂商的启示，假如L40S使用HBM显存？-240423-广发证券
AIGC 大时代序幕开启，国产推理算力芯片厂商迎来历史机遇； 但基于大语言模型的 AIGC 行业需要什么 样的推理算力芯片、如何设计更有性价比的推理产品？
报告摘要
AIGC 大时代序幕开启，国产推理算力芯片厂商迎来历史机遇； 但基于大语言模型的 AIGC 行业需要什么 样的推理算力芯片、如何设计更有性价比的推理产品？
核心要点
- 1 / 18
- 2024 年4 月23 日
- 分析师： 王亮 分析师： 耿正 分析师： 任思儒
- 》中基于理论推算框架分析发现，显存性能对于 GPU 推理性能影响较大。
- 我们基于理论推算框架，分析配有不同规格
- 的明显趋势之一
- 因此，超长上下文的发展趋势也会带动对高带宽、大容量 HBM 显存方案的需求。
- 3 / 18
报告信息
- 文件全名
- 《电子行业“AI的裂变时刻”系列报告9：对国产推理算力芯片厂商的启示，假如L40S使用HBM显存？-240423-广发证券-18页.pdf》
- 适合读者
- 核心数据
- 8TB/s 带宽 HBM，每次模型读取所需时间从 39ms 减少至 4ms，Decode 过程 L40S 算力利用率从仅约 1%提
- 但基于大语言模型的 AIGC 行业需要什么
- 大模型支持上下文长度的持续、快速提升是行业发展
- 因此，超长上下文的发展趋势也会带动对高带宽、大容量 HBM 显存方案的需求。
- 表 1：NVIDIA L40S 主要参数 ................................................................................ 5
- 核心议题
常见问题
《电子行业“AI的裂变时刻”系列报告9：对国产推理算力芯片厂商的启示，假如L40S使用HBM显存？-240423-广发证券》主要包含哪些内容?
AIGC 大时代序幕开启，国产推理算力芯片厂商迎来历史机遇； 但基于大语言模型的 AIGC 行业需要什么 样的推理算力芯片、如何设计更有性价比的推理产品？核心数据:8TB/s 带宽 HBM，每次模型读取所需时间从 39ms 减少至 4ms，Decode 过程 L40S 算力利用率从仅约 1%提;但基于大语言模型的 AIGC 行业需要什么;大模型支持上下文长度的持续、快速提升是行业发展。
这份报告由哪家机构发布?
本报告由任思儒并非香港证券及期货发布,发布于 2024 年。
这份报告覆盖哪一年、篇幅多大?
覆盖 2024 年,全文约 16。
这份报告是免费的吗?如何获取?
本报告免费查阅,登录资料宝后即可在线获取完整内容。
这份报告适合哪些读者?
适合战略规划、行业研究员等读者参考。
报告涉及哪些关键议题?
重点分析了芯片等议题。
继续阅读
查看全部 →