Spark on HBase程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartition接口使用

查看更多 →

Spark on HBase程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发程序

查看更多 →

Spark on HBase程序 操作Avro格式数据 操作HBase数据源 BulkPut接口使用 BulkGet接口使用 BulkDelete接口使用 BulkLoad接口使用 foreachPartition接口使用 分布式Scan HBase表 mapPartitions接口使用

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

锁定优惠券的订单才能使用这个优惠券，其他订单不能使用该优惠券。 coupon_usage String 最大长度：512 优惠券用途。 coupon_group Integer - 优惠券分组。 1：云商店发放的券 2：华为云券-1024-专用代金券 3：华为云券-使用限制-抵扣硬件的券

查看更多 →

开年采购季开屏礼包优惠券发放方式：用户线上领取自动到账户； 开年采购季开屏礼包优惠券特殊说明： ①开屏礼包优惠券为一次性优惠券，不支持部分退订，即一次性优惠券退订的部分优惠券金额，该余额是不可见也不可用的 ②优惠券不支持抵扣欠费金额； ③优惠券仅用于用户本账户下使用，不得转让或出售；

查看更多 →

自动续费可享受哪些优惠？ 客户设置自动续费后，系统默认于产品到期前7天开始扣款，若客户自己设置自动续费扣款日（到期前2-7天）以客户设置的扣款日为准。支持使用代金券和现金券，同时支持使用折扣券。 父主题： 续费

查看更多 →

balance BigDecimal 优惠券余额。 lock_order_id String 锁定优惠券的订单ID。 如果为老版本优惠券，该值为空。 is_frozen String 优惠券是否冻结。 0：否 1：是 可用优惠券接口返回时不包括冻结状态的优惠券。 表3 ICouponUseLimitInfoV2

查看更多 →

当满足以下条件时，您需要按照该方式安装： 该 服务器 上未安装过ICAgent。 继承安装 当满足以下条件时，您需要按照该方式安装： 您有多个服务器需要安装ICAgent，其中一个服务器绑定了EIP，而剩余的没有绑定EIP。其中一个服务器已经通过首次安装方式装好了ICAgent，对于没有绑定EIP的服务器，您可以采用该安装方式。

查看更多 →

Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题： Spark2x性能调优

查看更多 →

配置为-1时，将不进行广播。 参见https://spark.apache.org/docs/3.1.1/sql-programming-guide.html。 配置自动广播阈值的方法： 在Spark的配置文件“spark-defaults.conf”中，设置“spark.sql.autoBroadc

查看更多 →

Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该： 登录 FusionInsight Manager管理界面，修改JD BCS erver的参数“spark.authenticate.enableSaslEncryp

查看更多 →

org.apache.spark.SparkContext // RDD操作时引入的类。 import org.apache.spark.SparkContext._ // 创建SparkConf时引入的类。 import org.apache.spark.SparkConf 分布式模

查看更多 →

在对性能要求比较高的场景下，可以使用Kryo优化序列化性能 Spark提供了两种序列化实现： org.apache.spark.serializer.KryoSerializer：性能好，兼容性差 org.apache.spark.serializer.JavaSerializer：性能一般，兼容性好

查看更多 →

Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样，建议使用集群自带jar包。

查看更多 →

Spark on OBS调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下，可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics.switch

查看更多 →

自定义的Spark镜像。 -obs / --obs-bucket String 否 保存Spark作业的obs桶，需要保存作业时配置该参数。同时也可作为提交本地文件到resource的中转站。 -sv/ --spark-version String 否 作业使用Spark组件的版本号。

查看更多 →