求，从而出现上面的问题。 Executor注册shuffle service的超时时间是5秒，最多重试3次，该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark

查看更多 →

扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综合性能表现比SequenceFile更优。

查看更多 →

进入目标工作空间管理页面 在左侧导航栏选择“安全态势 > 安全大屏”，进入安全大屏页面。 图2 进入安全大屏页面 单击“值班响应大屏”图片，进入值班响应大屏信息页面，如图3。 页面中各个模块的功能介绍和使用方法详见下述内容。 图3 值班响应大屏 值班响应大屏总览 如图4所示，展示未处理告警、事件、漏洞、基线的总数。

查看更多 →

大屏监控（Beta） 大屏监控功能支持对所有直播资源的用量及分布情况进行实时监控，可以帮助您极大地提高运营效率。 大屏监控中提供的数据包括： 今日下行流量 上/下行带宽 观众/主播数 实时状态码 本月转码时长 本月录制峰值 本月截图数量 下行带宽/观众数/主播数的地域分布情况 注意事项

查看更多 →

Hive与其他组件的关系 Hive与HDFS组件的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop

查看更多 →

p、Spark、HBase、Kafka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。 MRS 与OBS对接的具体操作，请参见华为云MRS对接OBS。 Cloudera

查看更多 →

越多。大企业的IT治理架构也会受到组织结构的影响，以下是一个典型的大企业IT治理架构，由于图片空间有限，该架构图中没有列出全部的层级，如IT项目A331的功能小组、成员和运行环境没有呈现出来。本章所描述的大企业IT治理最佳实践以下图的IT治理架构为基础，将其映射到华为云上有效运转起来。

查看更多 →

若购买的按需资源后，需长期使用综合大屏功能，可在综合大屏管理页面，单击“转包周期”，将资源计费模式转为包年/包月，详细说明请参见按需转包周期。 若购买的包周期综合大屏即将到期或已经到期，可在综合大屏管理页面，单击“续费”，延长当前包周期资源的使用期限，详细说明请参见续费。 若不再使用综合大屏功能，可在

查看更多 →

put <hadoop版本号>请根据实际情况替换。 <mrs集群版本号>替换为MRS的大版本号，如MRS 1.9.2版本集群此处为mrs-1.9.0。 <Alluxio的节点名称>:19998，请根据实际情况替换为AlluxioMaster实例所在所有节点的节点名称与端口号，各个

查看更多 →

在“我的大屏”页面，找到需要导出的大屏，将鼠标移至该大屏图标上，然后单击导出按钮导出大屏。 图1 导出大屏 导入大屏 登录 DLV 控制台。 在“我的大屏”页面的右上角，单击“导入大屏”按钮，然后选择之前导出的大屏，单击“打开”完成大屏的导入。 若导入成功，控制台右上角会打印提示信息“导入大屏成功”。 图2

查看更多 →

如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图1 串行发送注册邮件与短信流程 图2 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下

查看更多 →

图1 租户网络大屏 操作步骤 登录华为乾坤控制台，单击左上角“大屏”，在大屏页面选择“租户网络大屏”。 若只购买开通了云管理网络，则默认进入租户网络大屏，无需选择。 （可选）在网络大屏上方，单击，可设置定时刷新时间。单击支持全屏显示。 单击页面上，支持用户自定义网络大屏，选择需要展示的模块。

查看更多 →

output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大，减少网络压力，使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级，共有5个优先

查看更多 →

loader/hadoop.<系统 域名 > 系统随机生成 Loader系统启动与Kerberos认证用户。 HTTP/<hostname> 系统随机生成 用于连接各组件的HTTP接口，<hostname>表示集群中节点主机名。 hue 系统随机生成 Hue系统启动与Kerberos

查看更多 →

拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法，完成OBS相关配置。 使用示例 以迁移HDFS上的“/data/sample”目录为例，执行以下命令查看HDFS文件系统上此目录下的文件与目录。 hadoop fs -ls hdfs:///data/sample

查看更多 →

output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大，减少网络压力，使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级，共有5个优先

查看更多 →

output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大，减少网络压力，使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级，共有5个优先

查看更多 →

output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大，减少网络压力，使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级，共有5个优先

查看更多 →

数据拷贝 根据源集群与目标集群分别所处的区域及网络连通性，可分为以下几种数据拷贝场景。 同Region 当源集群与目标集群处于同一Region时，根据打通数据传输通道进行网络配置，打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以

查看更多 →

数据拷贝 根据源集群与目标集群分别所处的区域及网络连通性，可分为以下几种数据拷贝场景。 同Region 当源集群与目标集群处于同一Region时，根据打通数据传输通道进行网络配置，打通网络传输通道。使用Distcp工具执行如下命令将源集群的HDFS、HBase、Hive数据文件以

查看更多 →

output.compress”和“mapreduce.map.output.compress.codec”项。当map的输出数据大，减少网络压力，使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级，共有5个优先级别，VERY_HIGH

查看更多 →