使用Spark on CCE 使用Spark的Kubernetes调度程序spark-submit，可以将Spark应用程序提交到Kubernetes集群中运行，详情请参见在Kubernetes上运行Spark。使用spark-submit提交Spark应用程序的工作原理如下：

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

决定下一周期重点投放哪些平台。 优势 高效的Spark编程模型：使用 DLI 直接从DIS中获取数据，进行数据清理等预处理操作。只需编写处理逻辑，无需关心多线程模型。 简单易用：直接使用标准SQL编写指标分析逻辑，无需关注背后复杂的分布式计算平台。 按需计费： 日志分析 按时效性要求按周

查看更多 →

提交Hive作业 提交Spark作业 Spark基于内存进行计算的分布式计算框架。Spark支持提交Spark Jar和Spark python程序，执行Spark application，计算和处理用户数据。 提交Spark作业 提交SparkSQL作业 Spark基于内存进行计算的

查看更多 →

本章节主要介绍SAP应用分布式无HA部署和分布式HA部署的容灾方案。SAP应用分布式无HA部署的文件系统规划如表1所示。SAP应用分布式无HA部署的文件系统规划文件系统文件系统类型建议使用的云服务/ext4云硬盘/usr/sapxfs云硬盘/sapmnt/nfs弹性文件服务的SFS Turbo/usr/sap/transnfs弹

查看更多 →

DMS分布式消息服务 DMS分布式消息服务支持以下各种消息类型： Kafka版：基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 RabbitMq版：完全兼容开源RabbitMQ，提供即开即用、消息特性丰富、灵活路由、高可用、

查看更多 →

分布式锁场景最佳实践 分布式锁场景需根据所选取的路由模式来选择合适的策略。 路由模式为single-read-write, single-read-async-double-write时 由于读写都在同一边，分布式锁不受影响。 路由模式为local-read-single-wri

查看更多 →

_PG_FOREIGN_TABLE_COLUMNS 显示外部表的列信息。该视图只有sysadmin权限可以查看。 表1 _PG_FOREIGN_TABLE_COLUMNS字段 名称 类型 描述 nspname name schema名称。 relname name 表名称。 attname

查看更多 →

DDM是否支持分布式JOIN DDM支持分布式JOIN。 表设计时，增加字段冗余 支持跨分片的JOIN，主要实现的方式有三种：广播表，ER分片和ShareJoin。 DDM目前禁止多个表的跨库update和delete。 父主题： SQL语法类

查看更多 →

据插入到分布式表，分布式表引擎会按轮训算法将数据发送到各个分片。 该键是写分布式表保证数据均匀分布在各分片的唯一方式。 规则 不建议写分布式表。 由于分布式表写数据是异步方式，客户端SQL由Balancer路由到一个节点之后，一批写入数据会先落入写入的节点，随后根据分布式表sch

查看更多 →

sql_identifier 外部 服务器 所在的数据库名称(永远是当前数据库)。 foreign_server_name information_schema.sql_identifier 外部服务器名称。 srvowner information_schema.sql_identifier 外部服务器所有者。

查看更多 →

是否可以删除 删除的后果 /tmp/spark/sparkhive-scratch 固定目录 存放Spark JD BCS erver中metastore session临时文件 否 任务运行失败 /tmp/sparkhive-scratch 固定目录 存放Spark cli方式运行metastore

查看更多 →

并支持多种外部输入。 Apache Spark部件架构如图1所示。本文档重点介绍Spark、Spark SQL和Spark Streaming应用开发指导。MLlib和GraghX的详细指导请参见Spark官方网站：http://spark.apache.org/docs/2.2

查看更多 →

。 使用须知 M3型 弹性云服务器 没有IB网卡和SSD卡。 M3型弹性 云服务器 支持同类型云服务器之间的规格变更。 适用场景 高性能数据库 内存数据库 分布式内存缓存 数据分析和挖掘 Hadoop/Spark集群以及其他企业应用程序 规格 表7 M3型弹性云服务器的规格 规格名称 vCPU

查看更多 →

卸载卡驱动（SDI 2.2分布式裸金属服务器） 操作背景 当裸金属服务器配套有SDI 2.2硬件时，需要参考本节指导安装Hi1822网卡驱动，以EulerOS 2.3为例进行说明。 前提条件 已登录虚拟机。 已获取Hi1822驱动安装包及管理软件并上传至虚拟机。 获取方式如下： 参考软件准备章节下载驱动的zip包。

查看更多 →

卸载卡驱动（SDI 3.0分布式裸金属服务器） 操作背景 当裸金属服务器配套有SDI 3.0硬件时，需要参考本节指导安装Hi1822网卡驱动，以CentOS 7.6为例进行说明。 前提条件 已登录虚拟机。 已获取Hi1822驱动安装包及管理软件并上传至虚拟机。 获取方式如下： 参考软件准备章节下载驱动的zip包。

查看更多 →

样例代码项目 样例名称 样例语言 SparkJavaExample Spark Core程序 Java SparkScalaExample Spark Core程序 Scala SparkPyhtonExample Spark Core程序 Python SparkSQLJavaExample

查看更多 →

spark提交服务 服务分布： 表1 服务分布 服务名 服务器 安装目录 端口 data-spark-submit 10.190.x.x 10.190.x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev

查看更多 →

18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →