string 是 无 分割后的字段 配置分隔后的字段，可为多个： 位置：分隔后字段的位置。 输出字段名：分隔后的字段名。 map 是 无 数据处理规则 将输入字段的值按指定的分隔符分隔后，依次赋给配置的新字段。 配置分割后字段列数，大于原始数据实际可分割出来的字段列数，当前行成为脏数据。

查看更多 →

转换函数 cast转换函数 HetuEngine会将数字和字符值隐式转换成正确的类型。HetuEngine不会把字符和数字类型相互转换。例如，一个查询期望得到一个varchar类型的值，HetuEngine不会自动将bigint类型的值转换为varchar类型。 如果有必要，可以将值显式转换为指定类型。

查看更多 →

通过语种识别模型得到图文对的文本语种类型，“待保留语种”之外的图文对数据将被过滤。 图文去重 基于结构化图片去重 判断相同文本对应不同的图片数据是否超过阈值，如果超过则去重。 图片去重 通过把图片结构化处理后，过滤重复的图片/图文对数据。 数据打标 图片鉴黄评分 对图片的涉黄程度进行评分，

查看更多 →

图3 图片卡片 背景 背景色：设置组件卡片的背景颜色。 边框：组件卡片边框设置，支持无边框、全边框和角边框三种样式。设置为全边框和角边框时，支持设置组件外圈边框的线型、圆角等。 样式：选择图片时，图片显示的样式，支持普通、居中、拉伸和平铺四种样式。 选择图片：使用本地的图片作为组

查看更多 →

rt_mg_hf.sh 脚本，自定义环境变量的值，并运行该脚本。其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf 运行 2_convert_mg_hf.sh 时，需要附加的参数值。如下： hf2hg：用于Hugging

查看更多 →

要在转换时确定对应的inputShape，用于模型的格式的编译与转换，可以在netron官网进行查看，或者对于模型结构中的输入进行shape的打印，并明确输入的batch。 一般来说，推理时指定的inputShape和用户的业务及推理场景紧密相关，可以通过原始模型推理脚本或者网络

查看更多 →

类型转换 概述 操作符 函数 值存储 UNION，CASE和相关构造 父主题： SQL参考

查看更多 →

类型转换 概述 操作符 函数 值存储 UNION，CASE和相关构造 父主题： SQL参考

查看更多 →

类型转换 概述 操作符 函数 值存储 UNION，CASE和相关构造 父主题： SQL参考

查看更多 →

GROUP BY转换 MySQL/ADB分组查询的时候允许查询非分组字段，不报错；DWS分组查询时只能查询分组字段和聚集函数，报错。因此补齐没有group by的查询分组字段。 输入示例 1 SELECT e.department_id, department_name, ROUND(AVG(salary)

查看更多 →

拼接转换 概述 “拼接转换”算子，将已有字段的值通过连接符拼接，生成新的字段。 输入与输出 输入：需要拼接的字段 输出：拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符，可为空。

查看更多 →

文字识别套件 文字识别套件基于丰富的文字识别算法和行业知识积累，帮助客户快速构建满足不同业务场景需求的文字识别服务，实现多种版式图像的文字信息结构化提取。 文字识别套件当前提供了单模板工作流和多模板工作流，自主构建文字识别模板，识别模板图片中的文字，提供高精度的文字识别模型，保证结构化信息提取精度。

查看更多 →

文字识别套件 行业套件介绍 新建应用 通用单模板工作流 多模板分类工作流 调用API和SDK 查看应用详情 删除应用

查看更多 →

文字识别套件 文字识别套件使用简介 使用单模板工作流开发应用 使用多模板工作流开发应用

查看更多 →

OCR服务需要用户通过调用API接口，将图片或扫描件中的文字识别成可编辑的文本，然后返回JSON格式的识别结果，用户需要通过编码将识别结果对接到业务系统或保存为TXT、Excel等格式。 关于文字识别的相关声明请参见文字识别服务声明、隐私政策声明。 文字识别服务等级协议请参见华为云服务等级协议。

查看更多 →

mg_hf.sh脚本，自定义环境变量的值，并在脚本的首行中添加 cd /home/ma-user/ws/llm_train/AscendSpeed/ModelLink 命令，随后运行该脚本。 其中环境变量详细介绍如下： 表1 权重转换脚本中的环境变量 参数 示例 参数说明 $1 hf2hg、mg2hf

查看更多 →

--model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle

查看更多 →

--model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle

查看更多 →

水印模板支持文字水印吗？ 水印模板当前仅支持图片水印，暂不支持文字水印。 父主题： 视频水印

查看更多 →

Development Kit）是对OCR服务提供的REST API进行的封装，以简化用户的开发工作。用户直接调用OCR SDK提供的接口函数即可实现使用OCR服务业务能力的目的。 我们针对不同语言的SDK提供了开发指南： 表1 不同语言SDK的开发指南 编程语言 开发指南 Java Java

查看更多 →

拼接转换 概述 “拼接转换”算子，将已有字段的值通过连接符拼接，生成新的字段。 输入与输出 输入：需要拼接的字段 输出：拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符，可为空。

查看更多 →