计算机行业：MoE与思维链助力大模型技术路线破局-240920-国泰君安

报告摘要

投资建议：随着 Transformer 架构大模型在算力侧成本攀升，升级迭代遇到瓶颈，技术路线相关探索有望打造性能更优、应用范围更专推荐标的：科大讯飞、虹软科技、万兴科技、福

核心要点

2.1. Transformer 路径下，算力资源成为大模型发展的瓶颈 .................... 3
2.2. MoE 框架是对 Transformer 架构的优化，而非完全替代 .................. 5
2.3. MoE 基于门控函数设计方式可分为多种类型 ................................... 7
2.4. MoE 模型效益的关键在于路由策略及微调 ....................................... 9
2.5. 针对 MoE 模型训练中的性能问题，LPU 设计厂商有望破局 ........ 10
3.2. 国内外厂商积极应用 MoE 框架，助力降本增效 ............................ 15
4. OpenAI o1 模型提供大模型训练及运用推理新范式.............................. 17
4.1. 大模型 OpenAI o1 推理侧创新运用“思维链”............................... 17

报告信息

文件全名: 《计算机行业：MoE与思维链助力大模型技术路线破局-240920-国泰君安-21页.pdf》
适合读者: 战略规划行业研究员
核心数据: FLOPs）达到一定量级时，模型性能才出现向上的“拐点”
数据来源：国泰君安证券研究（以上公司盈利预测数据均来自国泰君安证券盈利预测）
Transformer 模型通过扩大计算量（training FLOPs）达到更好的性能，算
性，这种计算复杂度随着输入序列长度的增加而呈平方增长，
FLOPs）达到一定量级时，模型性能才出现向上的“拐点”，因此在大模型训
核心议题: 大模型LLM语言模型NLP

常见问题

《计算机行业：MoE与思维链助力大模型技术路线破局-240920-国泰君安》主要包含哪些内容?

投资建议：随着 Transformer 架构大模型在算力侧成本攀升，升级迭代遇到瓶颈，技术路线相关探索有望打造性能更优、应用范围更专推荐标的：科大讯飞、虹软科技、万兴科技、福核心数据:FLOPs）达到一定量级时，模型性能才出现向上的“拐点”;数据来源：国泰君安证券研究（以上公司盈利预测数据均来自国泰君安证券盈利预测）;Transformer 模型通过扩大计算量（training FLOPs）达到更好的性能，算。

这份报告由哪家机构发布?

本报告由国泰君安发布,发布于 2024 年。

这份报告覆盖哪一年、篇幅多大?

覆盖 2024 年,全文约 21。

这份报告是免费的吗?如何获取?

本报告免费查阅,登录资料宝后即可在线获取完整内容。

这份报告适合哪些读者?

适合战略规划、行业研究员等读者参考。

报告涉及哪些关键议题?

重点分析了大模型、LLM、语言模型、NLP等议题。