大模型开发基本概念

大模型是什么

大模型是大规模预训练模型的简称，也称预训练模型或基础模型。所谓预训练模型，是指在一个原始任务上预先训练出一个初始模型，然后在下游任务中对该模型进行精调，以提高下游任务的准确性。大规模预训练模型则是指模型参数达到千亿、万亿级别的预训练模型。此类大模型因具备更强的泛化能力，能够沉淀行业经验，并更高效、准确地获取信息。

大模型的计量单位token指的是什么

令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或计算。

例如，在英文中，有些组合单词会根据语义拆分，如overweight会被设计为2个token：“over”、“weight”。在中文中，有些汉字会根据语义被整合，如“等于”、“王者荣耀”。

N1系列模型

0.75

1.5

N2系列模型

0.88

1.24

N4系列模型

0.75

1.5

温度系数

温度系数（temperature）控制生成语言模型中生成文本的随机性和创造性，调整模型的softmax输出层中预测词的概率。其值越大，则预测词的概率的方差减小，即很多词被选择的可能性增大，利于文本多样化。

多样性与一致性

多样性和一致性是评估LLM生成语言的两个重要方面，分别影响着模型的泛化能力和稳定性。 多样性指模型生成的不同输出之间的差异，可以通过大量的数据收集、数据增强、多语言训练等进行提升。一致性指相同输入对应的不同输出之间的一致性，可以通过正则化方法、参数调优等策略进行提升。

重复惩罚

重复惩罚（repetition_penalty）是在模型训练或生成过程中加入的惩罚项，旨在减少重复生成的可能性。通过在计算损失函数（用于优化模型的指标）时增加对重复输出的惩罚来实现的。如果模型生成了重复的文本，它的损失会增加，从而鼓励模型寻找更多样化的输出。

提示词

提示词（Prompt）是一种用于与AI人工智能模型交互的语言，用于指示模型生成所需的内容，帮助用户有效地将大语言模型用于各种应用场景和研究领域。一个提示词可以包含您传递到模型的指令或问题等信息，也可以包含其他种类的信息，如上下文、输入或示例等。

思维链

思维链 （Chain-of-Thought）是一种模拟人类解决问题的方法，通过一系列自然语言形式的推理过程，从输入问题开始，逐步推导至最终输出结论。这个过程可以被看作是一个链条，每一环代表模型在不同层次或阶段的处理和推理。

Self-instruct

Self-instruct是一种将预训练语言模型与指令对齐的方法，允许模型自主生成数据，而不需要大量的人工标注，减少了对人工指令的依赖，提高模型的自适应能力。