由于Kafka配置的限制，导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下： 2016-03-02 17:46:19,017 | INFO | [kaf

查看更多 →

由于kafka配置的限制，导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写kafka时，kafka上接收不到回写的数据，且kafka日志报错信息如下： 2016-03-02 17:46:19,017 | INFO | [kaf

查看更多 →

运行Spark Streaming任务参数调优的注意事项 问题 运行Spark Streaming任务时，随着executor个数的增长，数据处理性能没有明显提升，对于参数调优有哪些注意事项？ 回答 在executor核数等于1的情况下，遵循以下规则对调优Spark Streaming运行参数有所帮助。

查看更多 →

apache.spark.deploy.SparkHadoopUtil$.yarn$lzycompute(SparkHadoopUtil.scala:385) at org.apache.spark.deploy.SparkHadoopUtil$.yarn(SparkHadoopUtil

查看更多 →

Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

执行大数据量的shuffle过程时Executor注册shuffle service失败 在Spark应用执行过程中NodeManager出现OOM异常 安全集群使用HiBench工具运行sparkbench获取不到realm 父主题： Spark2x常见问题

查看更多 →

是 配置Spark作业的运行模式。 批处理：指Spark作业为批模式运行，节点会一直等待Spark作业执行完成才结束。 流处理：指Spark作业为流处理运行模式，节点执行时只要作业启动成功即执行成功。后续每次周期运行时检查任务是否处于运行状态，如果处于运行状态，则认为节点执行成功。

查看更多 →

arn上的作业状态不一致？ SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ Spark运行作业报错“java.io.IOException: Connection reset by peer”如何处理？ Spark作业访问OBS报错“requestId=XXX”如何处理？

查看更多 →

由于Kafka配置的限制，导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下： 2016-03-02 17:46:19,017 | INFO | [kaf

查看更多 →

由于Kafka配置的限制，导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下： 2016-03-02 17:46:19,017 | INFO | [kaf

查看更多 →

提交Spark任务时Driver端提示运行内存超限 问题背景与现象 运行内存超限导致提交Spark任务失败。 原因分析 在Driver日志中直接打印申请的executor memory超过集群限制。 ... INFO Client: Verifying our application

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

作业运行 作业运行概述 启动作业 查询作业状态 查看作业操作记录 停止作业 父主题： 实时分析

查看更多 →

运行监控 交换监控 数据服务共享平台上的作业和文件传输运行状态的监控，其中作业状态展示最近一次作业的运行状态数据，文件传输则显示当前的实时传输进度。 前置交换监控查询浏览 从前置区角度查看最近一次作业运行状态 从前置区角度查看文件传输实时进度 共享交换监控查询浏览 从共享区角度查看最近一次作业运行状态

查看更多 →

运行结果 父主题： 运行流

查看更多 →

运行流 流运行后，用户才能收到“IP地址查询结果”的邮件。 操作步骤 进入开天 集成工作台 管理控制台。 在左侧导航，选择“流编排 > 我的流”。 在流列表中，在流对应的“操作”列下，单击“运行”。 在“基本信息”框中，单击“运行”。 在“提交成功”对话框，单击“确定”。 收件人会收

查看更多 →

Agent运行 获取Agent配置信息 父主题： API v3

查看更多 →

运行Agent 单轮执行 调用run接口运行一个Agent： agent.run("帮我定个下午3点到8点2303会议室") Agent的运行时会进行自我迭代，并且选择合适的工具，在日志中打印最终的执行结果： 用户: 帮我定个下午3点到8点2303会议室 助手: 好的，2023-11-17

查看更多 →

运行&报告 运行测试套件 在待执行测试套件详情页面，单击“执行”，运行测试套件。 查看测试报告 页面右侧可快速查看最近测试结果。 单击测试结果的，可查看测试结果的运行报告。 单击”更多执行历史”，可查看历史测试结果的运行报告。 父主题： 测试套件管理

查看更多 →

运行模型 2.8.1运行模型、运行模型-顺序图、运行模型-活动图中不能产生新的逻辑元素 详细描述 在运行模型中不能创建新的逻辑元素，只能从逻辑模型中引用或者实例化到运行模型中来进行设计。 检查范围 当前模型工程中的所有模型图类型为运行模型图上的逻辑元素，逻辑元素的定义参考逻辑模型检查章节。

查看更多 →