训练过程读取数据 在ModelArts上训练模型，输入输出数据如何配置？ 如何提升训练效率，同时减少与OBS的交互？ 大量数据文件，训练过程中读取数据效率低？ 使用Moxing时如何定义路径变量？ 父主题： 训练作业

查看更多 →

可以设置Batch和Caching关键参数。 Batch 使用Scan调用next接口每次最大返回的记录数，与一次读取的列数有关。 Caching RPC请求返回next记录的最大数量，该参数与一次RPC获取的行数有关。 父主题： 开发HBase应用

查看更多 →

从OBS读取 CS V数据 概述 从OBS（ 对象存储服务 ）中读取csv格式的数据。 输入 无 输出 数据集 参数说明 参数 参数说明 obs_data_path OBS中csv数据文件或数据所在文件夹的绝对路径，例如：obs://桶名称/文件夹/数据文件，obs://桶名称/文件夹 has_header

查看更多 →

使用Get读取HBase数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

Mapping Topic与表的映射关系，表名格式为：Schema名.表名。 用于指定某个表的数据发送到指定的Topic中，开启多分区功能后需要配置Topic的分区数，分区数必须大于1。数据过滤时间用于过滤数据，当源端数据的时间小于设定时间时，该数据将会被丢弃，当源端数据的时间大于设定时间时，该数据发送到下游。

查看更多 →

cq2：spark表的列和HBase表的列的映射关系。spark的name列映射HBase表的cf1列簇的cq1列，spark的age列映射HBase表的cf1列簇的cq2列。 通过csv文件导入数据到HBase表，命令如下： hbase org.apache.hadoop.hbase.mapreduce.ImportTsv

查看更多 →

从ogg同步数据到Hudi时，ogg Source配置的Task值与任务实际运行的Task数量不一致 现象描述 执行从ogg同步数据到Hudi的CDL任务时，源端（ThirdKafka）中指定的“tasks.max”值与任务实际运行的Task数量不一致。 例如，在CDL WebU

查看更多 →

入。 处理步骤 采用Hcatalog的方式，参数指定对应的Hive库和表，需要修改SQL语句指定到具体字段（需要修改脚本）。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 原来的脚本： sqoop import --connect

查看更多 →

cq2：spark表的列和HBase表的列的映射关系。spark的name列映射HBase表的cf1列簇的cq1列，spark的age列映射HBase表的cf1列簇的cq2列。 通过csv文件导入数据到HBase表，命令如下： hbase org.apache.hadoop.hbase.mapreduce.ImportTsv

查看更多 →

读取模型 概述 读取spark pipeline model类型的模型文件。 输入 无 输出 spark pipeline model类型的模型对象 参数说明 参数 参数说明 input_model_path 模型文件所在的路径 样例 params = { "input_model_path":

查看更多 →

CloudLink Board 是否支持读取U盘上的数据? CloudLink Board 不支持读取U盘上的数据。 父主题： 硬终端业务使用

查看更多 →

如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户

查看更多 →

zhang”的数据记录id。假设数据源1的返回对象为“default1”。 select id from user01 where name='zhang'; 数据源2，根据user01中找到的id，在user02中找到对应的数据记录user_age。假设数据源2的返回对象为“default2”。

查看更多 →

CloudLink Board 是否支持读取U盘上的数据? CloudLink Board 不支持读取U盘上的数据。 父主题： 业务使用

查看更多 →

在ModelArts中，用户的数据都是存放在OBS桶中，而训练作业运行在容器中，无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错，您可以使用Moxing将数据拷贝至容器中，再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型，进行读取。请参见读取“json”

查看更多 →

，变成一个有确切范围的Scan，性能会更好些。 可以设置Batch和Caching关键参数： Batch：使用Scan调用next接口每次最大返回的记录数，与一次读取的列数有关。 Caching：RPC请求返回next记录的最大数量，该参数与一次RPC获取的行数有关。 父主题： HBase数据读写样例程序

查看更多 →

读取redis数据报超时错误 问题描述 读取redis数据报超时错误：redis server response timeout（3000ms） occurred after 3 retry attempts。 问题排查 根据报错后的提示，将客户端超时时间改大一些。 确认问题发生

查看更多 →

ow，一个有确切范围的Scan，性能会更好些。 可以设置Batch和Caching关键参数。 Batch 使用Scan调用next接口每次最大返回的记录数，与一次读取的列数有关。 Caching RPC请求返回next记录的最大数量，该参数与一次RPC获取的行数有关。 父主题： HBase数据读写样例程序

查看更多 →

使用Get API读取HBase表数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →