MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

数可以在参数配置界面中配置。 在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件（默认目录为HDFS文件系统中的“/mr-history/done”），具体清理的时间间隔参数配置为mapreduce.jobhistory.max-

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

数可以在参数配置界面中配置。 在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件（默认目录为HDFS文件系统中的“/mr-history/done”），具体清理的时间间隔参数配置为mapreduce.jobhistory.max-

查看更多 →

Insight，简称 DLI ）中，需要通过创建IAM委托授权DIS服务去访问用户的OBS、 MRS 、DWS或DLI资源。 使用账号首次进入界面添加转储任务时，系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后，隶属于该账号下的IAM子用户也可添加转储任务。 父主题：

查看更多 →

Insight，简称DLI）中，需要通过创建IAM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时，系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后，隶属于该账号下的IAM子用户也可添加转储任务。

查看更多 →

数据处理 修改列名 数据集列合并 数据集聚合 数据集行合并 数据集行过滤 数据集连接 数据集抽样 数据集拆分 数据集行去重 执行spark sql脚本 替换 缺失值填充 缺省值填充 修改列数据类型 数据集选择列 设置元数据 数据集按列排序 增加序列号 普通表转KV表 KV表转普通表

查看更多 →

ClickHouseBalancer或者其他负载均衡服务，均衡查询负载，提升可靠性。 用近似去重（uniqCombined、uniq）替代精确去重。 ClickHouse提供多种近似去重算法，通过count_distinct_implementation配置，支持将countDi

查看更多 →

项目ID。获取方法请参见获取项目ID。 task_id 是 String 数据迁移任务ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 resume_mode 否 String 迁移任务重连模式。 枚举值： auto：自动重连。 manual：手动重连。 响应参数 状态码： 400 表3 响应Body参数

查看更多 →

属性名从画像算子生成，如“product_color”，则对产品颜色相同的物品进行去重。 【去重】忽略长度 截断物品ID末尾指定长度后的字符串进行去重，如指定长度为2，则SKU_A1234和SKU_A1244只会保留其中一个。 属性过滤规则 指定定制化用户属性以及物品属性过滤规则，属性

查看更多 →

项目ID。获取方法请参见获取项目ID。 task_id 是 String 数据迁移任务ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 resume_mode 否 String 迁移任务重连模式。 枚举值： auto：自动重连。 manual：手动重连。 响应参数 状态码： 400 表3 响应Body参数

查看更多 →

如果存在多个数据操作流，可重命名操作流对象的变量名，以避免冲突。 单击图标，运行“数据过滤”代码框内容。 去重 如果特征列中存在重复的数据，可通过“去重”操作，删除数据重复的样本行。 操作步骤如下所示。 单击界面右上角的图标，选择“数据处理 > 数据清洗 > 去重”，界面新增“去重”内容。

查看更多 →

ReplacingMergeTree 相对于MergeTree，它会用最新的数据覆盖具有相同主键的重复项。 删除老数据的操作是在分区异步merge的时候进行处理，只有同一个分区的数据才会被去重，分区间及shard间重复数据不会被去重，所以应用侧想要获取到最新数据，需要配合argMax函数一起使用。 SummingMergeTree

查看更多 →

应用程序是否需要支持自动重连数据库 建议您的应用程序支持自动重连数据库，当数据库重启后，无需人工介入，应用会自动恢复，提供更高的可用性。 同时建议您的应用程序采用长连接方式连接数据库，以降低资源消耗，提高性能。 父主题： 数据库连接

查看更多 →

此外还具有以下权限： 具有HDFS、ZooKeeper普通用户的权限。 具有提交、查询Mapreduce、YARN任务的权限，以及YARN队列管理权限和访问YARN WebUI的权限。 Storm中，具有提交、查询、激活、去激活、重分配、删除拓扑的权限，可以操作所有拓扑。 Kafka服务中，具有创建

查看更多 →

此外还具有以下权限： 具有HDFS、ZooKeeper普通用户的权限。 具有提交、查询Mapreduce、YARN任务的权限，以及YARN队列管理权限和访问YARN WebUI的权限。 Storm中，具有提交、查询、激活、去激活、重分配、删除拓扑的权限，可以操作所有拓扑。 Kafka服务中，具有创建

查看更多 →

Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议

查看更多 →

MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把

查看更多 →

调测MapReduce应用 编译并运行MapReduce应用 查看MapReduce应用调测结果 父主题： MapReduce开发指南

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →