Elasticsearch脱敏 大数据 Elasticsearch Hive脱敏 Hive HBase脱敏 HBase DLI 脱敏 DLI MRS 脱敏 MRS MRS_HIVE OBS脱敏 OBS OBS桶文件 数据水印功能支持的数据源类型 表4 数据水印功能支持的数据源类型 水印类型 水印类型

查看更多 →

获取桶列表(Go SDK) 功能介绍 OBS桶是对象的容器，您上传的文件都存放在桶中。调用获取桶列表接口，可列举当前账号所有地域下符合指定条件的桶。返回结果以桶名的字典序排序。 接口约束 您必须拥有obs:bucket:ListAllMyBuckets权限，才能获取桶列表。建议使

查看更多 →

获取桶列表(Harmony SDK) 功能介绍 OBS桶是对象的容器，您上传的文件都存放在桶中。调用获取桶列表接口，可列举当前账号所有地域下符合指定条件的桶。返回结果以桶名的字典序排序。 接口约束 您必须拥有obs:bucket:ListAllMyBuckets权限，才能获取桶列表

查看更多 →

参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 Hive输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，在“存储类型”选择“HIVE”，设置数据保存方式。 表4 输出设置参数 参数名 说明

查看更多 →

请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 Hive输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”，进入“输出设置”界面，在“存储类型”选择“HIVE”，设置数据保存方式。 表4 输出设置参数 参数名 说明

查看更多 →

查询OBS桶下对象列表 功能介绍 查询OBS桶下对象列表。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/rtc-ops/buckets/objects

查看更多 →

单击“添加角色”，输入“角色名称”和“描述”。 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击用户B创建的表所在的数据库名称，显示用户B创建的表。 在用户B创建的表的“权限”列，勾选“查询”。 单击“确定”，返回“角色” 单击

查看更多 →

自定义Hive表行分隔符 操作场景 通常情况下，Hive以文本文件存储的表会以回车作为其行分隔符，即在查询过程中，以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式，而是以某些特殊符号分隔其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hi

查看更多 →

JSON表中有破损数据导致Hive查询异常 用户问题 在Hive客户端查询JSON数据，JSON表中有破损数据导致查询异常： 在Hive客户端上使用默认开源的JSON序列化建表语句创建表： create external table if not exists test ( name

查看更多 →

从S FTP服务器 导入数据到HBase 从SFTP 服务器 导入数据到Phoenix表 从SFTP服务器导入数据到Hive表 从FTP服务器导入数据到HDFS/OBS 从FTP服务器导入数据到HBase 从FTP服务器导入数据到Phoenix表 从FTP服务器导入数据到Hive表 从同一集群内HDFS/OBS导入数据到HBase

查看更多 →

响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 count Integer 桶个数 buckets Array of BucketDto objects 桶列表 表5 BucketDto 参数 参数类型 描述 name String 桶名称 region String

查看更多 →

删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因，Hive并不能支持对单条表数据进行删除操作，但在Hive on HBase功能中，MRS Hive提供了对HBase表的单条数据的删除功能，通过特定的语法，Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。

查看更多 →

自定义Hive表行分隔符 操作场景 通常情况下，Hive以文本文件存储的表会以回车作为其行分隔符，即在查询过程中，以回车符作为一行表数据的结束符。但某些数据文件并不是以回车分隔的规则文本格式，而是以某些特殊符号分隔其规则文本。 MRS Hive支持指定不同的字符或字符组合作为Hi

查看更多 →

使用hive-table方式同步数据到orc表或者parquet表失败 问题 使用hive-table方式同步数据到orc表或者parquet表失败。 报错信息中有kite-sdk的包名。 回答 修改数据同步方式，将-hive-table改成-hcatalog-table。 父主题：

查看更多 →

使用hcatalog方式同步hive parquet表报错 问题 同步hive parquet表，其分区字段为非string类型，无法正常使用hive import导入，只能考虑使用hcatalog方式，但是hcatalog方式报错如下： 回答 修改sqoop源码SqoopHCa

查看更多 →

执行如下命令查询所有表，返回结果中存在表test_demo01，即表示访问OBS成功。 show tables; 图7 查看是否存在表test_demo01 查看表的Location。 show create table test_demo01; 查看表的Location是否为“obs://OBS桶名/”开头。

查看更多 →

删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因，Hive并不能支持对单条表数据进行删除操作，但在Hive on HBase功能中，MRS Hive提供了对HBase表的单条数据的删除功能，通过特定的语法，Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。

查看更多 →

使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。

查看更多 →

单个map的错误记录超过设置的最大错误记录数则任务自动结束，已经导入的数据不支持回退。推荐使用临时表作为导入的目标表，待导入成功后再改名或合并到最终数据表。 0 开启限速 设置限速可以保护源端读取压力，速率代表 CDM 传输速率，而非网卡流量。 说明： 支持对非二进制文件迁移的作业进行单并发限速。

查看更多 →

从SFTP服务器导入数据到Phoenix表。 从SFTP服务器导入数据到Hive表。 从FTP服务器导入数据到HDFS/OBS。 从FTP服务器导入数据到HBase。 从FTP服务器导入数据到Phoenix表。 从FTP服务器导入数据到Hive表。 从同一集群内HDFS/OBS导入数据到HBase。

查看更多 →

单个map的错误记录超过设置的最大错误记录数则任务自动结束，已经导入的数据不支持回退。推荐使用临时表作为导入的目标表，待导入成功后再改名或合并到最终数据表。 0 开启限速 设置限速可以保护源端读取压力，速率代表CDM传输速率，而非网卡流量。 说明： 支持对非二进制文件迁移的作业进行单并发限速。

查看更多 →