搭建系统运行环境 创建VPC 通过账号密码登录管理平台 图1 登录 创建VPC 图2 创建VPC 创建CCE 登录管理控制台。 创建CCE资源 图3 集群配置 创建E CS 登录管理控制台。 创建ECS资源 图4 购买 弹性云服务器 创建RDS for MySQL 登录管理控制台。 创建RDS

查看更多 →

手动搭建BSEIP 云服务器 图1 云 服务器 服务器集群规划 k8s的安装有多种方式，此处不过多介绍，自行安装即可，安装前规划好每个主机的集群角色。如下例信息： 表1 服务器集群规划 主机名 ip 角色 k8s-master1 192.168.145.160 master k8s-master2

查看更多 →

搭建Java运行环境 安装配置jdk 远程登录弹性云服务器，操作方法请参考登录Linux弹性云服务器。 解压安装JDK mkdir –p /data/services/jdk1.8.0_131 tar -zxvf /root/download/jdk-8u151-linux-x64

查看更多 →

搭建ecology运行环境 搭建ecology运行环境 节点服务部署Ecology9 节点服务器挂载Nas存储 Redis配置 ELB负载均衡 配置 父主题： 实施步骤

查看更多 →

html 图3 搭建3 RDS数据库购买，选型 选择SQL Server 2016 Web版，数据库字符集编码选择Chinese_PRC_CI_AS 图4 搭建4 安全组里面将ECS内网的1433放通，并且要关联对应的服务器实例 图5 搭建5 图6 搭建6 图7 搭建7 SFS文件存储购买，选型

查看更多 →

搭建并启用Landing Zone 背景说明 通过RGC服务，预计可实现以下功能： RGC将会拥有必要的权限来治理Organizations内的所有组织单元以及成员账号。 您需要在RGC中搭建Landing Zone，并且设置您的多账号环境治理范围。RGC不会将云上环境治理扩展到

查看更多 →

手工搭建Drupal网站（Linux） 简介 本文介绍了如何在华为云上使用弹性云服务器的Linux实例手工搭建Drupal电子商务网站。 Drupal是使用PHP语言编写的开源内容管理框架（CMF），它由内容管理系统（CMS）和PHP开发框架（Framework）共同构成。Dru

查看更多 →

manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复

查看更多 →

执行大数据量的shuffle过程时Executor注册shuffle service失败 在Spark应用执行过程中NodeManager出现OOM异常 安全集群使用HiBench工具运行sparkbench获取不到realm 父主题： Spark2x常见问题

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

同步。若不需要节点名称和脚本名称同步，请参考禁用作业节点名称同步变化禁用该功能。 MRS集群名 是 选择MRS集群。 如需新建集群，请参考以下方法： 单击，进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明：

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

mv ./spark/spark-3.1.3-bin-hadoop3.1.tgz /root 执行命令安装Spark。 tar -zxvf spark-3.1.3-bin-hadoop3.1.tgz mv spark-3.1.3-bin-hadoop3.1 spark-obs cat

查看更多 →

本地运行Spark程序连接MRS集群的Hive、HDFS 问题 本地运行Spark程序时，如何连接MRS集群的Hive和HDFS？ 回答 为每一个Master节点申请并绑定弹性公网IP。 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat /etc

查看更多 →

约束与限制 支持双栈的集群： 集群类型 集群网络模型 支持的集群版本 其他说明 CCE Standard集群 容器隧道网络 v1.15及以上 于v1.23版本GA（Generally Available） 暂不支持ELB使用双栈能力 CCE Turbo 集群 云原生网络2.0 v1

查看更多 →

Spark Core 日志聚合下，如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任务

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →