获取token消耗规则
了解Token消耗规则对于模型训练至关重要。掌握从字符到Token的转换规律可以优化数据预处理过程并有效控制训练成本。每个Token代表模型处理和生成文本的基本单位,它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Tokens,并根据模型的概率分布进行采样或计算。了解Token的消耗和费用计算规则,用户可以更准确地预测和控制训练成本,提高预算管理效率。训练服务的费用按实际消耗的Token数量计算,即实际消耗的Token数量乘以Token的单价。
为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型训练前评估文本的Token数量,提供费用预估,并优化数据预处理策略。
使用Token计算器的步骤如下:
- 登录盘古大模型套件平台。
- 在“服务管理”页面,单击页面右上角“Token计算器”。
- 在Token计算器中选择所需的模型,并输入文本内容后,单击“开始计算”即可统计输入文本的Token数量。
图1 Token计算器
预置模型和已经部署的模型可以使用Token计算器。