Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

快速创建和使用Kafka流式数据处理集群 操作场景 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。 操作流程

查看更多 →

spark提交服务 服务分布： 表1 服务分布 服务名 服务器 安装目录 端口 data-spark-submit 10.190.x.x 10.190.x.x /app/dt/data-spark-submit 8087 安装spark提交服务 修改配置文件application-dev

查看更多 →

18 def submit_spark_batch_job(dli_client, batch_queue_name, batch_job_info): try: batch_job = dli_client.submit_spark_batch_job(batch_queue_name

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase

查看更多 →

Spark Core程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

Spark接口介绍 Spark Java API接口介绍 Spark Scala API接口介绍 Spark Python接口介绍 Spark REST API接口介绍 Spark ThriftServer接口介绍 Spark常用命令介绍 父主题： Spark应用开发常见问题

查看更多 →

MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

。 并行计算：使用并行计算框架，如Apache Spark、Apache Flink等，将计算任务分配到多个节点上并行执行，以提高计算速度和效率。 内存优化：通过调整内存分配和使用策略，如使用内存缓存、内存映射等技术，以提高数据处理和计算的速度和效率。 负载均衡：通过负载均衡技术

查看更多 →

单击“配置”，选择“全部配置”。然后在搜索框中搜索spark.driver.memory和spark.executor.memory，根据作业的需要调大或者调小该值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。 如果使用到SparkJDBC作业，搜索并修改SPARK_EXECUTOR_M

查看更多 →

修改项目中数据处理作业的参数接口 功能介绍 修改项目中数据处理作业的参数。 URI URI格式 POST /softcomai/datalake/dataplan/v1.0/data/process/job/{job_id}/config 参数说明 参数名 是否必选 参数类型 备注

查看更多 →

集成ModuleSDK进行数据处理 操作场景 代码解析 注册节点 创建产品 修改代码 项目打包 制作镜像包 创建应用 部署应用 添加边缘设备 设备接入 父主题： 集成ModuleSDK(Java)

查看更多 →

description String 数据处理任务的版本描述。 duration_seconds Integer 数据处理任务的运行时间，单位秒。 inputs Array of ProcessorDataSource objects 数据处理任务的输入通道。 modified_sample_count

查看更多 →

及需要定期清理缓存或重置环境的业务。 通用队列： 通用队列用于执行Spark作业、Flink OpenSource SQL作业和Flink Jar作业的队列。 适合适用于复杂数据处理、实时数据流处理或批量数据处理的场景。 弹性资源池使用场景 推荐使用弹性资源池队列，提高资源使用的

查看更多 →

对云上CloudTable、RDS和DWS等异构数据源进行查询分析，数据格式兼容 CS V、JSON、Parquet和ORC主流数据格式。 三大基本功能 SQL作业支持SQL查询功能：可为用户提供标准的SQL语句。具体内容请参考《 数据湖探索 SQL语法参考》。 Flink作业支持Flink

查看更多 →