获取token消耗规则

了解Token消耗规则对于模型训练至关重要。掌握从字符到Token的转换规律可以优化数据预处理过程并有效控制训练成本。每个Token代表模型处理和生成文本的基本单位，它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Tokens，并根据模型的概率分布进行采样或计算。了解Token的消耗和费用计算规则，用户可以更准确地预测和控制训练成本，提高预算管理效率。训练服务的费用按实际消耗的Token数量计算，即实际消耗的Token数量乘以Token的单价。

为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型训练前评估文本的Token数量，提供费用预估，并优化数据预处理策略。

使用Token计算器的步骤如下：

1. 登录盘古大模型套件平台。
2. 在“服务管理”页面，单击页面右上角“Token计算器”。
3. 在Token计算器中选择所需的模型，并输入文本内容后，单击“开始计算”即可统计输入文本的Token数量。
   图1 Token计算器
   
   

   预置模型和已经部署的模型可以使用Token计算器。