文档提取暗水印 功能介绍 对已嵌入文字暗水印的WORD(.docx)，PPT(.pptx)，EXCEL(.xlsx)，PDF(.pdf)类型的文档进行文字暗水印提取，用户以formData的格式传入待提取水印的文件，DSC服务以JSON的格式返回从文档里提取的出的文字暗水印内容。

查看更多 →

验证分享提取码 功能介绍 验证分享提取码。 URI POST /koodrive/ose/v1/share/verify 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 该字段存储的是Access Token。调

查看更多 →

响应提取 响应提取是提取接口响应结果的某一部分，命名为参数，供后续测试步骤参数化调用。响应提取需要在前序测试步骤定义，后续测试步骤使用。 在前序测试步骤中，在“响应提取”页签创建要传递的参数。响应提取来源用到内置参数，请参考内置参数了解如何使用内置参数。响应提取同时支持正则表达式

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

原因分析 当使用load导入数据到Hive表的时候，属于需要跨文件系统的情况（例如原数据在HDFS上，而Hive表数据存放在OBS上），并且文件长度大于阈值（默认32 MB），则会触发使用distcp的MapReduce任务来执行数据迁移操作。这个MapReduce任务配置直接从Spar

查看更多 →

准备MapReduce样例初始数据 操作场景 在调测程序之前，需要提前准备将待处理的数据。 运行MapReduce统计样例程序，请参考规划MapReduce统计样例程序数据。 运行MapReduce访问多组件样例程序，请参考规划MapReduce访问多组件样例程序数据。 规划MapReduce统计样例程序数据

查看更多 →

在左侧导航树中，单击，选择“安全与合规 > 数据安全中心”。 在左侧导航树中选择“数据安全运营 > 水印溯源”，进入“数据库水印提取”界面。 选择“OBS文件水印提取”页签。 单击左上角“新建任务”，进入“新建任务”页面。 单击添加文件选择需要进行提取水印的文件，OBS桶文件支持多选。 图1

查看更多 →

Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。Hive的数据计算依赖于MapReduce、Spark、Tez。

查看更多 →

查询指定时间范围指定指标的指定粒度的监控数据 功能介绍 查询指定时间范围指定指标的指定粒度的监控数据，可以通过参数指定需要查询的数据维度。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。

查看更多 →

log1.txt：数据输入文件 YuanJing,male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。

查看更多 →

HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于 MRS 的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。

查看更多 →

log1.txt：数据输入文件 YuanJing,male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。

查看更多 →

log1.txt：数据输入文件 YuanJing,male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。

查看更多 →

字段值提取函数 本文介绍字段值提取函数的语法规则，包括参数解释、函数示例等。 函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。 JSON提取 e_json 对特定字段中的JSON对象进行JSON操作，包括J

查看更多 →

class Reducer类名 mapred.input.dir MapReduce处理数据的输入目录 mapred.output.dir MapReduce处理后结果数据输出目录 mapred.map.tasks MapReduce map任务个数 “${变量名}”表示：该值来自“job

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

查询指定数据集 功能介绍 查询指定数据集，根据数据集发布者身份标识和数据产品id信息查询。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/datashare/query-dataset

查看更多 →

CLICKHOUSE数据源 FTP：FTP数据源 OBS：OBS数据源 ACTIVEMQ：ActiveMQ数据源 ARTEMISMQ：ArtemisMQ数据源 IBMMQ：IBM MQ数据源 KAFKA：Kafka数据源 MQS：MQS数据源 RABBITMQ：RabbitMQ数据源 HANA：HANA数据源

查看更多 →

查看指定数据库 功能描述 查看指定数据库的相关信息，包括数据库名称、数据库的描述等。 语法格式 1 DESCRIBE DATABASE [EXTENDED] db_name; 关键字 EXTENDED：除了显示上述信息外，还会额外显示数据库的属性信息。 参数说明 表1 参数说明

查看更多 →

Array of objects 指定任务数据加工规则请求体。 详情请参见表4。 表4 data_process_info字段数据结构说明 参数 是否必选 参数类型 描述 filter_conditions 否 Array of objects 指定任务数据加工规则请求体。 详情请参见表5。

查看更多 →

查看指定数据库 功能描述 查看指定数据库的相关信息，包括数据库名称、数据库的描述等。 语法格式 1 DESCRIBE DATABASE [EXTENDED] db_name; 关键字 EXTENDED：除了显示上述信息外，还会额外显示数据库的属性信息。 参数说明 表1 参数说明

查看更多 →