训练过程读取数据 在ModelArts上训练模型，输入输出数据如何配置？ 如何提升训练效率，同时减少与OBS的交互？ 大量数据文件，训练过程中读取数据效率低？ 使用Moxing时如何定义路径变量？ 父主题： 训练作业

查看更多 →

使用Scan读取HBase数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner对象

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

配置Hive读取Hudi表 Hudi表对应的Hive外部表介绍 Hudi源表对应一份HDFS的数据，通过Spark组件、Flink组件或者Hudi客户端，可以将Hudi表的数据映射为Hive外部表，基于该外部表，Hive可以方便地进行实时视图查询、读优化视图查询以及增量视图查询。

查看更多 →

读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为： 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后，需关闭所申请资源。 代码样例 如下是读文件的代码片段，详细代码请参考com.huawei

查看更多 →

从OBS读取 CS V数据 概述 从OBS（ 对象存储服务 ）中读取csv格式的数据。 输入 无 输出 数据集 参数说明 参数 参数说明 obs_data_path OBS中csv数据文件或数据所在文件夹的绝对路径，例如：obs://桶名称/文件夹/数据文件，obs://桶名称/文件夹 has_header

查看更多 →

使用Get读取HBase数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

数据库报表查询字段大小写是否敏感？ SQL语句关键字、数据库用户名称、规则名称对大小写敏感，其余例如：操作类型对大小写不敏感。请您在输入的时候注意区分大小写。 父主题： 日志类

查看更多 →

为内置字段，自定义字段避免使用。 自定义字段总个数不能超过10个，key的长度范围为[1,36]，可以由数字、字母、下划线和中划线组成。 String类型的value长度范围为[1,256]，可以由数字、字母、下划线和中划线组成。 字段重复定义会被覆盖。 不支持数值类型添加后缀的输入方式，如1

查看更多 →

什么是增量字段？ 增量字段是数据表里的一个时间格式字段，其作用是为了后续数据联接入图调度时，确认数据入图的时间范围。 父主题： 数字主线引擎相关问题

查看更多 →

uri String 字段配置URI标识 updator NameAndIdVo object 服务类型信息 description String 描述 customName String 项目用例自定义字段名称 table_field_name String 字段名（对应后端参数名）

查看更多 →

默认字段类型 当前可选择的默认字段类型包括“日期”、“小写金额”、“大写金额”、“数字”、“数字和英文”、“编号”、“性别”。选择特定的字段类型后，将会按照指定的字段类型对字符串处理后再输出。比如，未激活任何字段类型时的输出为“发证日期：2021年09月12日”，为了精准提取日期

查看更多 →

直方图（多字段） 概述 直方图是一种对数据分布情况的图形表示，是一种二维统计图表，它的两个坐标分别是统计样本和该样本对应的某个属性的度量，以长条图（bar）的形式展现。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型，dataframe为p

查看更多 →

新增基础扩展字段 操作步骤 以租户管理员角色登录客户服务云，选择“配置中心 > 扩展与集成 > 接触记录数据项”。 新增基础扩展字段。 单击“接触记录字段”，进入配置页面，单击“新建”。 根据表1，填入参数值。 表1 基础扩展字段参数说明 属性 说明 字段类别 选择“基础扩展字段”。 字段名称

查看更多 →

映射里新增字段。 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输， CDM 会将字段值直接写入目的端。 如果字段映射关系不正确，您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到 数据仓库 服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列：

查看更多 →

参数类型 是否必填 说明 源字段名 任意 是 源字段名。如果字段不存在，则不进行任何操作。 目标字段列表 任意 是 字段值经过分隔符分隔后的每个值对应的字段名。可以是字符串的列表，例如：["error", "message", "result"]。 当字段名中不包含逗号时，也可以直

查看更多 →

此过程需要确定数据库类型，物理表名称，物理表中的字段名称和类型。读取到的物理表和表字段后续将会被反向生成相应数据模型和模型属性。 建模规则：确定反向生成的数据模型的类型、属性及命名规范。 添加数据源 连接本地数据库，是读取数据和反向建模的前提。具体操作请参见创建数据源。 读取数据 xD

查看更多 →

tmt)。 2、语义解析 将“语法&词法解析”输出的格式化结构转化为数据库可以识别的对象。 3、查询重写 根据规则把“语义解析”的输出等价转化为执行上更为优化的结构。 4、查询优化 根据“查询重写”的输出和数据库内部的统计信息规划SQL语句具体的执行方式，也就是执行计划。统计信息

查看更多 →

tmt)。 2、语义解析 将“语法&词法解析”输出的格式化结构转化为数据库可以识别的对象。 3、查询重写 根据规则把“语义解析”的输出等价转化为执行上更为优化的结构。 4、查询优化 根据“查询重写”的输出和数据库内部的统计信息规划SQL语句具体的执行方式，也就是执行计划。统计信息

查看更多 →