如果需要在Spark2x客户端用Spark on HBase功能，需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接，可以查询由Hive on HBase所创建的表，支持通过SQL命令创建HBase表或创建外表关联HBa

查看更多 →

如果需要在Spark2x客户端用Spark on HBase功能，需要重新下载并安装Spark2x客户端。 在Spark2x客户端使用spark-sql或者spark-beeline连接，可以查询由Hive on HBase所创建的表，支持通过SQL命令创建HBase表或创建外表关联HBa

查看更多 →

下载客户端”，重新下载并安装Spark客户端，详细操作请参考安装客户端章节，并执行7。 如果不重新下载并安装客户端，则直接执行以下步骤更新Spark客户端配置文件（例如：客户端目录为“/opt/client”，具体以实际为准）： 以root用户登录Spark客户端所在的节点，切换到客户端安装目录。

查看更多 →

月均用量的概念形成主要是为了方便购买方式转换时的价格计算，因为当购买方式变化时，不能直接从单价比较，需要将单价和使用时长进行规范化转换，才能形成合理的比较。 折算价格 源端的折算价格为：账单所示支付价格（折扣后） / 账单区间月数。 华为云目的端的折算价格为： 按需：华为云官网按需价格（折扣前） x 月均用量

查看更多 →

e 支持的数据格式：parquet、orc 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.sql.mergeSmallFiles.enabled

查看更多 →

配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JD BCS erver、Spark

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults

查看更多 →

配置Spark Eventlog日志回滚 配置场景 当Spark开启事件日志模式，即设置“spark.eventLog.enabled”为“true”时，就会往配置的一个日志文件中写事件，记录程序的运行过程。当程序运行很久，job很多，task很多时就会造成日志文件很大，如JDB CS erver、Spark

查看更多 →

codec”配置项只适用于设置非分区表的parquet压缩格式。 配置参数 参数入口： 在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，在搜索框中输入参数名称。 表1 参数介绍 参数 描述 默认值 spark.sql.parquet.compression

查看更多 →

Oozie企业级能力增强 开启Oozie HA机制 使用Share Lib工具检查Oozie依赖Jar包正确性 父主题： 使用Oozie

查看更多 →

HBase企业级能力增强 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置RSGroup管理RegionServer资源 父主题： 使用HBase

查看更多 →

Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 父主题： 使用Kafka

查看更多 →

Yarn企业级能力增强 配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceM

查看更多 →

nogrant”，“值”为“true ”，修改后重启所有Hive实例。 是否需要在Spark/Spark2x客户端中启用此功能？ 是，重新下载并安装Spark/Spark2x客户端。 否，操作结束。 父主题： Hive企业级能力增强

查看更多 →

重启实例”，输入当前用户密码，单击“确定”重启所有Hive实例。 是否需要在Spark/Spark2x客户端中启用此功能？ 是，重新下载并安装Spark/Spark2x客户端。 否，操作结束。 父主题： Hive企业级能力增强

查看更多 →

配置认证 服务器 配置无线认证模板（用户名密码认证） 在WAC认证界面，创建SSID信息，与WAC设备侧保存一致。对通过WAC上线的用户进行认证。 登录华为乾坤控制台。 单击页面左上角按钮，单击“我的服务 > 云管理网络”，在快捷菜单栏选择“ > 高级配置”。 在高级配置界面选择“网络配置

查看更多 →

create”，“值”为“true”。 单击“保存”保存配置。单击“实例”，勾选所有Spark2x实例，选择“更多 > 重启实例”，输入当前用户密码，单击“确定”重启所有实例。 重新下载并安装Spark/Spark2x客户端。 父主题： Hive企业级能力增强

查看更多 →

配置服务器 通过分配的公网IP-121.36.25.2远程服务器配置。 Hosts配置 图1 Hosts配置 IIS组件安装 图2 IIS组件安装 父主题： 安装测试环境

查看更多 →

使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口： 在执行应用之前，在Spark服务配置中修改。在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。

查看更多 →

为了更灵活的使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口： 在执行应用之前，在Spark服务配置中修改。在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。 表1

查看更多 →