从报错堆栈可以看出是任务在提交过程中分片时在读取HDFS文件阶段内存溢出了，一般是由于该任务要读取的小文件很多导致内存不足。 解决办法 排查启动的MapReduce任务是否对应的HDFS文件个数很多，如果很多，减少文件数量，提前先合并小文件或者尝试使用combineInputFormat来减少任务读取的文件数量。

查看更多 →

匹配内容的键值。默认为null。 该字段为预留字段，暂未启用。 支持的最大字符长度：255 value 否 String 匹配内容的值。不能包含空格。 支持的最大字符长度：128 当type为HOST_NAME时，取值范围：String (100)，字符串只能包含英文字母、数字、“-”或“

查看更多 →

在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会

查看更多 →

在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会

查看更多 →

优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响性能。

查看更多 →

你可以使用CORS支持，使用JavaScript和HTML 5来构建Web应用，直接访问OBS中的资源，而不再需要代理 服务器 做中转。 可以使用HTML 5中的拖拽功能，直接向OBS上传文件，展示上传进度，或是直接从Web应用中更新内容。 托管在不同域中的外部网页、样式表和HTML 5应用，现在可以引用存储

查看更多 →

匹配内容的键值。默认为null。 该字段为预留字段，暂未启用。 支持的最大字符长度：255 value 否 String 匹配内容的值。不能包含空格。 支持的最大字符长度：128 当type为HOST_NAME时，取值范围：String (100)，字符串只能包含英文字母、数字、“-”或“

查看更多 →

优化小文件场景下的Spark SQL性能 配置场景 Spark SQL的表中，经常会存在很多小文件（大小远小于HDFS块大小），每个小文件默认对应Spark中的一个Partition，也就是一个Task。在很多小文件场景下，Spark会起很多Task。当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响性能。

查看更多 →

value长度限制1-128字符，不支持空格， 双引号，支持以下通配符：*（匹配0个或更多字符）和？（正好匹配1个字符）。 当转发规则类别type为QUERY_STRING时，key表示查询参数的名称，value表示查询参数的值。 value长度限制为1-128字符，不支持空格，中括号，大括号，尖括号，反斜杠，双引号，

查看更多 →

HDFS的DataNode数据分布不均匀，在某节点上磁盘使用率很高，甚至达到100%，其他节点空闲很多。 原因分析 客户端安装在该节点，根据HDFS数据副本机制，第一个副本会存放在本地机器，最终导致节点磁盘被占满，而其他节点空闲很多。 解决办法 针对已有不平衡的数据，执行balance脚本均衡数据。 /o

查看更多 →

转发策略04 /exa/index.html 正则匹配 优先级 4 后端服务器组04 /mpl/index.html 转发策略05 /mpl/index.html 精确匹配 优先级 5 后端服务器组05 转发情况如下： 当请求路径为“/elb/abc.html”时，初步可以匹配到两个前缀

查看更多 →

异常信息为“找不到**文件”，但是核实后项目已存在该文件。 原因分析 项目中文件（文件夹）名带有空格，造成Msbuild编译时从空格处截断文件路径，报找不到文件异常，导致构建失败。 处理方法 去除目录中的空格以及对应引用路径中的空格，可保证编译过程中不出现空格导致的构建失败问题。 父主题： Msbuild构建

查看更多 →

您可以通过单击状态栏中的缩进设置打开缩进命令列表，然后更改打开文件的默认缩进设置或在制表符和空格之间转换。 CodeArts IDE自动检测检查2、4、6或8空格的缩进。如果文件使用不同数量的空格，则可能无法正确检测缩进。例如，如果您需使用3个空格缩进，则您需关闭editor.detectIndentation选项，并将选项卡大小显式设置为3。

查看更多 →

com/product/cdn.html DDoS防护 https://www.huaweicloud.com/product/aad.html 对象存储服务 https://www.huaweicloud.com/product/obs.html 视频直播 https://www

查看更多 →

上AllowedHeader中的配置才认为是一个合法的CORS请求。每一个allowed_header可以带最多一个“*”通配符，不可出现空格。 allowed_header_number unsigned int 可选 allowed_header的个数 max_age_seconds

查看更多 →

由于近年DevOps概念的火热，加之DevOps的涵盖面非常广，因此有很多文章和技术都在和DevOps强行关联，使很多想要了解学习DevOps的开发者迷惑不解。 其实，DevOps的知识体系如果从顶层上来分解，可大分为2部分：方法论和工具链。 方法论这部分，因为DevOps的很多理念脱胎于敏捷，所以当前所能了解到的

查看更多 →

限进行检查。 当表是parquet表时，元数据信息包括文件的Split信息。Split信息需要调用HDFS的接口去读取，当表包含的文件数量很多时，串行读取Split信息变得缓慢，影响性能。故对此做了优化，当表包含的文件大于一定阈值（即spark.sql.sources.parallelSplitDiscovery

查看更多 →

匹配内容的键值。默认为null。 该字段为预留字段，暂未启用。 支持的最大字符长度：255 value 是 String 匹配内容的值。不能包含空格。 支持的最大字符长度：128 当type为HOST_NAME时，取值范围：String (100)，字符串只能包含英文字母、数字、“-”或“

查看更多 →

匹配内容的键值。默认为null。 该字段为预留字段，暂未启用。 支持的最大字符长度：255 value 是 String 匹配内容的值。不能包含空格。 支持的最大字符长度：128 当type为HOST_NAME时，取值范围：String (100)，字符串只能包含英文字母、数字、“-”或“

查看更多 →

序外还可以增加下图中的这种“空格分隔线”。 图1 菜单中的空格分隔线 操作步骤： 登录ISDP系统，选择“公共平台->系统配置->系统设置->菜单”并进入。 点击“新建”按钮，在弹出窗口的“名称”栏中输入“-”即代表空格分隔线，下方顺序处填写你需要空格分隔线出现在的顺序位置，点击保存。

查看更多 →

应用名称 用户可自定义的云应用名称：如果输入xxx.exe或者xxx，自动安装时会停止xxx.exe的执行进程。 应用名称允许可见字符或空格，不可为全空格。 长度范围为1~128个字符。 HelloAppCenter 版本号 应用版本的编号。 不可超过128个字符。 - 描述 应用的描述信息，有助于识别应

查看更多 →