获取Token消耗规则
每个Token代表模型处理和生成文本的基本单位,它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token,并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算,即实际消耗的Token数量乘以Token的单价。为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型训练前评估文本的Token数量,提供费用预估,并优化数据预处理策略。
使用Token计算器的步骤如下:
- 登录盘古大模型套件平台。
- 在“服务管理”页面,单击页面右上角“Token计算器”。
- 在Token计算器中选择所需的模型,并输入文本内容后,单击“开始计算”即可统计输入文本的Token数量。
图1 Token计算器
预置模型和已经部署的模型可以使用Token计算器。