Spark输入 概述 “Spark输入”算子，将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入：SparkSQL表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String

查看更多 →

挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。

查看更多 →

if SASL is enabled异常 向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for

查看更多 →

图中标识“2”处为声音切换入口。单击图标，弹出如图3所示的对话框，选择需要切换的声音。 请注意，切换后的声音必须与前面切换后的语言保持一致。如果语言选择英文，声音选择中文声音，那么界面交互时数字人会没有声音。 图2 配置对话 图3 选择声音 语言和声音设置完成后，单击对话编辑界面右上角的“保存”，如图4所示。 请

查看更多 →

Model Engine，简称iDME）的应用部署依赖于运行节点，其中数据交互依赖的中间件包括：云数据库、MongoDB、Redis、 CSS 、Kafka以及文件存储系统。因此，在部署iDME应用前需要确保中间件服务已完成部署，并且部署iDME应用的节点能够正常访问中间件服务。本解决方

查看更多 →

Spark输出 概述 “Spark输出”算子，用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入：需要输出的字段 输出：SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储

查看更多 →

（可选）登录SWR管理控制台，选择左侧导航栏的“组织管理”，单击页面右上角的“创建组织”，创建一个组织。 如已有组织可跳过此步骤。 在左侧导航栏选择“我的镜像”，单击右侧“客户端上传”，在弹出的页面中单击“生成临时登录指令”，单击复制登录指令。 在集群节点上执行上一步复制的登录指令，登录成功会显示“Login

查看更多 →

式进行调整优化。 优化原理 对于ModelArts提供的GPU资源池，每个训练节点会挂载500GB的NVMe类型SSD提供给用户免费使用。此SSD挂载到“/cache”目录，“/cache”目录下的数据生命周期与训练作业生命周期相同，当训练作业运行结束以后“/cache”目录下面

查看更多 →

er进行交互来运行作业。 如果NodeManager连不上客户端所在的节点，就会报错： 处理步骤 在客户端的Spark配置中指定Driver的IP地址： “<客户端安装位置>/Spark/spark/conf/spark-defaults.conf”中添加参数“spark.driver

查看更多 →

使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

交互式/自动补全相关 使用交互式/自动补全需要注意什么？

查看更多 →

} } 更多编程语言的SDK代码示例，请参见 API Explorer 的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 处理成功返回。 400 请求传参异常，包含错误码及对应描述。 错误码 请参见错误码。 父主题： 智能交互数字人对话任务管理

查看更多 →

用户Token。通过调用IAM服务获取用户Token接口获取，响应消息头中X-Subject-Token的值。 请求参数 表5、表6和表7中的请求参数为WebSocket建连成功后，用户与数字人对话的请求参数。 表5 请求Message参数 参数 是否必选 参数类型 描述 request_id

查看更多 →

智能交互数字人应用管理 创建应用 查询应用列表 查询应用详情 修改应用 删除应用 父主题： 智能交互管理

查看更多 →

通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题： 开发Spark应用

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted

查看更多 →

系列连续的RDD。RDD一个只读的、可分区的分布式数据集。 DStream中的每个RDD包含了一个区间的数据。如图4所示。 图4 DStream与RDD关系 应用到DStream上的所有算子会被转译成下层RDD的算子操作，如图5所示。这些下层的RDD转换会通过Spark引擎进行计

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息、ta

查看更多 →

结构化和非结构化的海量数据中挖掘您所需要的价值数据。开源组件结构复杂，安装、配置、管理过程费时费力，Manager提供了企业级的大数据集群的统一管理平台： 提供集群状态的监控功能，您能快速掌握服务及主机的健康状态。 提供图形化的指标监控及定制，您能及时的获取系统的关键信息。 提供

查看更多 →