(相关资料图)

自2017年Transformer发布以来，大语言模型经历了由开源到逐步闭源的转变，头部公司先进模型的壁垒逐步形成。 目前OpenAI、Google等领先的头部AI大厂对于先进模型大多采用部分开源或仅开放使用的模式，以此构建技术护城河。然而，将AI大模型直接应用于垂直行业，存在通用能力过剩、行业专业知识储备不足、推理过程消耗算力过高等问题。基于开源模型进行垂类模型开发可兼顾开发成本和数据安全，尤其是对于党政军、金融、电网、先进制造等数据敏感性较高的行业而言。 Meta旗下LLaMA大模型的开源或能为垂类模型落地提供预训练模型底座。 LLaMA基于通用领域的开源数据集进行训练，训练数据涵盖40种语言，包含约1.4万亿Tokens。尽管LLaMA模型参数量较小，但性能丝毫不逊色于PaLM、GPT-3等大语言模型。并且较小的参数规模显著降低了LLaMA模型的落地部署和二次开发难度。 LLaMA作为完全开源的领先模型，具备高度的灵活性、可配置性和泛化能力，可以作为垂类AI模型的通用基座。 基于LLaMA，垂类AI开发者可以根据其行业特点、应用行业数据定制开发相应的“行业发行版AI模型”。LLaMA模型一经发布就对外完全开源，吸引了广大AI开发者和研究者。目前，用户可在全球知名AI模型开源社区Hugging face中获取LLaMA的模型权重与训练代码。能够自由下载并使用LLaMA模型，既可以将其部署至设备直接进行推理，也可以基于LLaMA进行研究与二次开发。 我们测算了模型在迁移学习阶段的训练算力成本，在模型微调阶段，由于训练量级较小，仅为万级，相关的算力成本相比之下可忽略不计。 例如，斯坦福大学于2023年3月对外发布Alpaca，这是一个基于LLaMA-7B基座，应用5.2万指令对模型微调训练得到的对话类语言模型，该模型基于8块A100微调，微调时长3小时，算力成本不超过300元。 在推理阶段，根据我们的初步测算，由8块A100组成的AI服务器可为规模达2,000人的中大型企业提供AI服务，离线部署方案每年的推理算力成本约为33.2万元，若采用云计算方案则每年需花费约66万元算力成本。基于上述推理成本分析，推理成本并不高昂，绝大多数中型以上企业足以负担，为各领域垂类模型落地提供了极为广阔的市场空间。 投资建议 LLaMA等优质开源模型的推出极大加速了下游行业AI应用开发效率。基于“通用基座+迁移学习+微调”的垂类AI模型开发范式或将成为主流，优质的行业数据资源成为影响模型性能的关键。 在此趋势之下，我们看好两类企业：1）拥有开发先进大模型能力的企业。这类企业在先进模型逐步走向闭源的趋势下，有望保持算法优势，如商汤科技、科大讯飞等。2）拥有丰富行业数据的头部公司。这类企业有望基于稀缺的行业数据以及开源模型，开发出可用性更强的垂类模型。如东方财富、同花顺、恒生电子等。 风险提示 海外基础软硬件使用受限；骨干网络创新放缓；应用落地不及预期

推荐内容