更新时间:2024-10-16 GMT+08:00
分享

获取Token消耗规则

每个Token代表模型处理和生成文本的基本单位,它可以是一个单词、字符或字符的片段。模型的输入和输出都会被转换成Token,并根据模型的概率分布进行采样或计算。训练服务的费用按实际消耗的Token数量计算,即实际消耗的Token数量乘以Token的单价。为了帮助用户更好地管理和优化Token消耗,平台提供了Token计算器工具。Token计算器可以帮助用户在模型训练前评估文本的Token数量,提供费用预估,并优化数据预处理策略。

使用Token计算器的步骤如下:

  1. 登录盘古大模型套件平台
  2. 在“服务管理”页面,单击页面右上角“Token计算器”。
  3. 在Token计算器中选择所需的模型,并输入文本内容后,单击“开始计算”即可统计输入文本的Token数量。
    图1 Token计算器

    预置模型和已经部署的模型可以使用Token计算器。

相关文档