简介：摘要:在ChatGPT引领的AI浪潮中，开源中文语言大模型的发展迎来了新的春天。为实现本地化中文LLaMA，将LLaMA开源模型通过扩展词表结合大规模中文语料库进行二次预训练，同时借助中文特定数据集对模型进行精准微调。在二次预训练中，针对算力受限的问题，本文对Transformer的Attention Module和Decoder进行结构优化研究，实现可在消费级显卡上进行高效训练。实验结果证明，通过进行结构优化可显著提升本模型在理解和生成中文内容方面的能力。
客服QQ：30444492琼网文【2021】1550-113号
增值电信业务经营许可证：琼B2-20210322
出版物经营许可证：新出发龙华出字第(2021)009号
广播电视节目制作经营许可证：(琼)字第00779号
版权所有 ©2002-2024 期刊网(www.qikanchina.com) 琼ICP备2021005105号
