小文件优化 操作场景 Spark SQL表中，经常会存在很多小文件（大小远小于HDFS的块大小），每个小文件默认对应Spark中的一个Partition，即一个Task。在有很多小文件时，Spark会启动很多Task，此时当SQL逻辑中存在Shuffle操作时，会大大增加hash分桶数，严重影响系统性能。

查看更多 →

number是否生成value redistribute优化计划生效。 参数类型：USERSET 取值范围：布尔型 on表示支持使用value redistribute生成优化计划。 off表示不支持使用value redistribute生成优化计划。 默认值：on max_recursive_times

查看更多 →

√ 容量优化 查看容量优化分析结果概要信息 √ √ √ √ 查看容量优化分析结果详情列表 √ √ √ √ 删除容量优化分析结果列表数据 √ √ √ × 查看容量优化分析结果详情监控 √ √ √ √ 执行重新识别 √ √ √ × 执行停止分析 √ √ √ × 导出容量优化分析报告 √

查看更多 →

成本优化支柱 成本优化支柱简介 基础概念 设计原则 问题和检查项 COST01 规划成本优化相应的组织机构和流程 COST02 实施预算规划管理机制 COST03 对成本进行分配 COST04 持续进行成本治理 COST05 优化指定策略和目标 COST06 使用不同计费模式优化成本

查看更多 →

内存优化型 概述 内存优化型类别的专属计算集群适合处理内存中的大型数据集，搭载Intel Xeon SkyLake全新一代CPU，同时搭载全新网络加速引擎，以及DPDK（Data Plane Development Kit）快速报文处理机制，提供更高的网络性能，提供最大512GB

查看更多 →

在镜像列表中，在需要优化的镜像所在行的“操作”列下，选择“更多 > 优化”。 如果镜像所在行“操作”列下的“更多”选项中，没有“优化”按钮，表示该私有镜像不支持优化镜像功能。 用户也可以单击镜像名称，在镜像详情页面单击“优化”。 在“优化镜像”对话框中，如图1所示。如果用户已经手动优化过该镜像

查看更多 →

，怎么办？ Linux外部镜像文件在导出前未完成初始化配置，怎么办？ 如何优化镜像？ 如何使用通过I代 云服务器 创建的私有镜像创建II代云 服务器 如何设置镜像的网卡多队列属性？ 如何配置IPv6地址 如何优化系统盘镜像使其支持实例快速发放？ 为什么Windows云服务器安装Guest

查看更多 →

动、修改UUID等。 准备工作 将待优化的Linux镜像创建为 弹性云服务器 ，并开机登录。 确认是否需要优化私有镜像。 具体操作请参见确认是否需要优化私有镜像。 请根据虚拟化类型选择对应的优化操作，不同的虚拟化类型优化过程略有不同。 私有镜像优化过程 为了成功安装原生的XEN和KV

查看更多 →

合并CBO优化 操作场景 Spark SQL默认支持基于规则的优化，但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO（Cost-Bsed Optimizer）是一种为SQL智能选择查询计划的技术。通过配置开启CBO后，CBO优化器可以基于表和列的统计信息，进行一系列的估算，最终选择出合适的查询计划。

查看更多 →

将Redis 同步到GeminiDB Redis 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 本地自建官方开源单机或主备Redis数据库（2.8.x、3.0.x、3.2.x、4.0.x、5.0.x版本） E CS 自建官方开源单机或主备Redis数据库（2.8.x、3

查看更多 →

将GeminiDB Redis同步到Redis 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GeminiDB Redis 本地自建Codis集群（开源Codis 3.0及以上版本） ECS自建Codis集群（开源Codis 3.0及以上版本） 本地自建Redis单机版（2

查看更多 →

/redis-server ../redis.conf & 访问redis 用自带的redis-cli客户端工具就可以访问Redis服务器了。 Redis的默认服务端口是6379 # redis-cli 127.0.0.1:6379> Redis配置文件说明 Redis的配置文件Redis.conf在

查看更多 →

/redis-server ../redis.conf & 访问redis 用自带的redis-cli客户端工具就可以访问Redis服务器了。 Redis的默认服务端口是6379 # redis-cli 127.0.0.1:6379> Redis配置文件说明 Redis的配置文件Redis.conf在

查看更多 →

使用redis_exporter出错怎么办？ 通过在命令行启动redis_exporter，根据界面输出，查看是否存在错误，根据错误描述，进行问题排查。 [root@ecs-swk /]./redis_exporter -redis.addr 192.168.0.23:6379 INFO[0000]

查看更多 →

Redis连接 介绍 通过Redis连接，可以对Redis服务器抽取或加载数据。 连接样例 { "links": [ { "link-config-values": { "configs": [

查看更多 →

conf 数据目录：/data/redis-6.0.0/data 日志目录：/data/redis-6.0.0/logs 插件目录：/opt/redis-6.0.0/modules/redisgraph.so 安装Redis主从 解压，上传压缩包redis-6.0.0-linux.tar

查看更多 →

io/releases/redis-5.0.3.tar.gz 解压：tar -zxvf redis-5.0.3.tar.gz cd切换到redis解压目录下，执行编译 编译：cd redis-5.0.3 make 安装并指定安装目录 安装：make install PREFIX=/usr/local/redis

查看更多 →

创建的缓存实例为什么可使用内存比实例规格少一些？ Redis 3.0 Proxy集群不支持redisson分布式锁的原因 DCS Redis有没有后台管理软件？ DCS缓存实例的数据被删除后，能否找回？ 为什么实例实际可用内存比申请规格小而且已使用内存不为0？ 如何查看Redis内存占用量 Cluster

查看更多 →

对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源

查看更多 →

开通优化顾问服务 开通优化顾问前请先 注册华为账号 并开通华为云。 登录华为云管理控制台。 选择“服务列表 > 管理与监管 > 优化顾问”，进入优化顾问服务页面。 勾选“我已阅读并同意《优化顾问服务声明》”选项，然后单击“确定”。 “云资源访问授权”和“检查结果访问授权”全部选择后单击“确定授权”，即可使用优化顾问。

查看更多 →

成本优化支柱简介 成本优化支柱专注于帮助企业高效地使用云服务来构建工作负载，面向工作负载的整个生命周期不断完善和改进，减少不必要的开支并提升运营效率，让云上应用始终最具成本效益。 成本优化实践不意味着只有降本，它是安全合规、韧性等维度的平衡，也是达成业务目标的最优投入。 华为公司

查看更多 →