什么是Token?
在自然语言处理中,Token通常指将文本分割成的最小单位,例如词语、子词或字符等。在调用模型推理服务时,输入内容会被分词(tokenize),转化为模型可识别的Token 。模型处理后会输出Token,并将其转换为用户所需文本或其他内容载体。模型处理(包括输入、输出)的Token数量会被作为模型推理服务用量的一个重要计量单位。
关于Token如何计费,请参见推理服务按Tokens使用量。
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在自然语言处理中,Token通常指将文本分割成的最小单位,例如词语、子词或字符等。在调用模型推理服务时,输入内容会被分词(tokenize),转化为模型可识别的Token 。模型处理后会输出Token,并将其转换为用户所需文本或其他内容载体。模型处理(包括输入、输出)的Token数量会被作为模型推理服务用量的一个重要计量单位。
关于Token如何计费,请参见推理服务按Tokens使用量。