海通计算机 | AI大模型时代来临，成为重要行业门槛

　　重要提示：《证券期货投资者适当性管理办法》于2017年7月1日起正式实施，通过本微信订阅号发布的观点和信息仅供海通证券的专业投资者参考，完整的投资观点应以海通证券研究所发布的完整报告为准。若您并非海通证券客户中的专业投资者，为控制投资风险，请取消订阅、接收或使用本订阅号中的任何信息。本订阅号难以设置访问权限，若给您造成不便，敬请谅解。我司不会因为关注、收到或阅读本订阅号推送内容而视相关人员为客户；市场有风险，投资需谨慎。

　　郑宏达

　　海通计算机&电子研究首席分析师

　　S0850516050002

　　投资要点

　　GPT-3掀起AI大模型浪潮，大模型下参数量即是准确度。大模型成为AI开发新范式。根据MIT Technology Review和IEEE Computer，2020年，Open AI推出其新的预训练模型GPT-3，GPT-3相比其上一代模型在数据量上实现了量级的飞跃。模型的参数量由15亿个提升至1750亿个，训练使用的数据量由40GB提升至45TB。在算法几乎没有变化的情况下，GPT-3仅依靠参数量的提升就实现了表现上的飞跃：GPT-3可以在高精确度地自动生成文章、与人交流、甚至完成代码编写，至今仍是最好的AI语言模型之一。在GPT-3大获成功的推动下，AI开发商们开启了大模型的竞赛。目前，Google的Switch-Transformer和GLaM分别有1万亿和1.2万亿个参数。在我国，北京智源人工智能院推出的悟道2.0则有1.75万亿的参数规模。对于AI模型而言，参数量决定了模型所接受的训练量。模型拥有越多的参数，就能从训练数据中摘取更多的相关信息，也因此能够做出更准确的预测。

　　大模型对算法与硬件提出更高要求，进一步提升技术门槛。相比于传统AI模型，大模型对相关算法和硬件设施有着更高的要求。想要处理千亿量级以上的参数，大模型需要上百个独立的GPU来训练模型的神经网络，同时需要算法来将所有的训练数据在各GPU之间进行合理分配，确保这些数据以合适的顺序、在合适的时间被使用。在开发AI大模型时，各AI厂商都在对相应的算法和硬件设施进行升级，确保超大体量的参数能被模型所吸纳。根据量子位百家号，Google则开发出了LIMoE稀疏化大模型，在实现零样本学习的同时极大程度降低了训练成本。为确保大模型的顺利开发，各厂商也在不断提升相关硬件设施。我们认为，在未来AI大模型的开发中，支持开发的算法、硬件设施等方面的综合实力将成为重要的技术门槛，将决定AI大模型规模的上限和实际的模型效果，并成为AI厂商模型开发成功与否的关键因素。

　　大模型作为基石，赋力AI模型的优化及多场景运用。在大模型的早期阶段，受模型类型限制，模型的使用场景有限。如今，越来越多的AI厂商开始转向多模态大模型（large-scale multimodal model），这些模型能够同时处理图像、文本、视频、音频等数据类型，并支持无监督式学习。在大模型的支持下，AI多模态模型能够在更多、更复杂的场景提供支持。根据百度文心官网和IDC官微，百度的文心·跨模态大模型将场景图知识融入到视觉-语言模型的预训练过程；阿里达摩院的M6大模型既在阿里内部核心业务场景落地，在外部医疗、能源、金融行业积累了多个实践案例。对于各行业而言，大模型的应用价值也开始逐渐清晰：大模型不要求企业具备海量的数据基础、相比传统AI模型应用的效果更优、并能降低AI开发门槛。我们认为，随着以大模型为基础的多模态模型的持续优化，未来AI模型将能在更多场景、更复杂的功能中体现自己的优势，大模型的运用范围将会持续提升，并将正向反馈进一步推动大模型的相关研发。

　　我们认为，GPT-3的成功证明了参数体量对AI模型的重要性，自此开启了大模型时代。想要确保AI模型规模的不断提升，各厂商必须持续优化算法模块及相关硬件设备；而在大模型的支持下，AI模型将不断优化并最终实现在更广泛、更复杂的场景的落地。

　　风险提示：行业相关政策推进不及预期，前沿技术发展不及预期或应用效果不佳的风险。

　　法律声明

　　本微信平台所载内容仅供海通证券股份有限公司的客户参考使用。海通证券不会因接收人收到本内容而视其为客户，且由于仅为研究观点的简要表述，客户仍需以研究所发布的完整报告为准。

　　市场有风险，投资需谨慎。在任何情况下，本微信平台所载信息或所表述的意见并不构成对任何人的投资建议。投资者应自主作出投资决策并自行承担投资风险，任何形式的分享证券投资收益或者分担证券投资损失的书面或口头承诺均为无效。在任何情况下，本公司不对任何人因使用本微信平台中的任何内容所引致的任何损失负任何责任。