我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容，帮助您更好的使用 DLI 进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark SQL作业创建O

查看更多 →

arn-cluster模式设置的应用名不生效。 解决措施： 在spark-submit脚本提交任务时用--name设置应用名和sparkconf.setAppName(appname)里面的应用名一样。 比如代码里设置的应用名为Spark Pi，用yarn-cluster模式提交

查看更多 →

</dependency> 2. SparkSession添加下面两个参数 .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") .config("spark.sql.catalog.spark_catalog"

查看更多 →

计算题创建 编程题创建。 图7 编程题创建 图8 评判用例 平台提供习题编写说明： 图9 习题编写说明 ⾃动评判: 选择此题的编程语⾔，语⾔版本。⽀持JAVA、C、C++、Python语⾔的⾃动评测。 图10 ⾃动评判 ⾃动评判的编程题需填写评判⽤例，输⼊⽤例后，需单击“测试⽤例”

查看更多 →

设置模板显示的缩放比例值。 pages[0].content 控制父组件的大小和位置。 outerWidth outerWidth参数用于控制模板在预览视图中的缩放尺寸，该参数应和包裹模板的div盒子在宽度上保持一致。假设盒子宽度为230px，则app-preview父组件的oute

查看更多 →

logy等功能。 storm-hbase-examples MRS 的Storm与HBase组件实现交互的示例程序。实现提交Storm拓扑将数据存储到HBase的WordCount表中。 storm-hdfs-examples MRS的Storm与HDFS组件实现交互的示例程序。实

查看更多 →

内嵌，表示嵌在内部的类。 Include 基用例与包含用例之间的关系。说明如何将包含用例中定义的行为插入基用例定义的行为中。基用例可以看到包含用例，并依赖于包含用例的执行结果。但是二者不能访问对方的属性。 Extend 是指扩展用例与基用例之间的关系。特别是如何将扩展用例定义的行为插入基用例定义的行为序列。

查看更多 →

配置Spark Executor退出时执行自定义代码 本章节仅适用于MRS 3.2.0及之后版本。 配置场景 通过配置如下参数可以实现Executor退出时执行自定义代码。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值

查看更多 →

使用自建的SQL队列。 跨账号使用UDAF时，除了创建UDAF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDAF函数。 授权操作参考如下：登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDAF Jar包，单击“操作”列中的“权限管理

查看更多 →

网络研讨会是“会议+直播”的融合体验，比普通会议支持更大的与会者容量，比企业级直播具备更低无感知时延和更强的音视频互动能力。 网络研讨会在会议基础上，新增一种仅观看权限的观众角色，观众角色在主持人控制下观看音视频、语音说话和文字聊天。 网络研讨会和会议的功能特性对比如表2所示。 表2

查看更多 →

善对比度的同时，可避免引入更多新的噪点。 支持切换畸变矫正，在摄像机的图像画面发生一定的几何畸变的情况下使画面更准确。 补光灯控制 支持切换智能红外模式，避免图像过曝。 支持调节内置灯（近光灯/中光灯/远光灯）的亮度与开关灯时间。 图像计划 年度计划 支持针对每月的不同的时间（00

查看更多 →

编写开机运行脚本 应用容器化时，一般需要准备开机运行的脚本，写作脚本的方式和写一般shell脚本相同。该脚本的主要目的包括： 启动应用所依赖的软件。 将需要修改的配置设置为环境变量。 开机运行脚本与应用实际需求直接相关，每个应用所写的开机脚本会有所区别。请根据实际业务需求来写该脚本。

查看更多 →

现在与未来的功能 云联络中心作为连接企业与客户的桥梁，提供下述四大能力集，满足企业的各种需求，协助企业建设专属的联络中心： 座席应用 座席是组成联络中心的基本单位，座席的可定制程度和功能全面性基本决定了联络中心的能力范围。因此云联络中心为企业提供了强大的座席能力，灵活运用座席。 座席管理

查看更多 →

功能介绍 数据集 模型训练服务统一的数据集管理菜单，可本地导入10G以内大数据文件，或对接数据集服务，导入已订阅的数据集。且支持在线查看代码、图片、音视频等多种格式的文件内容。 特征工程 特征工程是模型训练的必要过程，可以实现数据集的特征组合、筛选和转换，最大限度的从数据集中提取关键特征，供模型训练使用。

查看更多 →

如果该模板参数允许作业参数覆盖，则勾选“允许作业参数覆盖”，设置的模板参数可以允许作业参数进行覆盖。 图2 配置参数模板 单击“确定”。 您可以对已创建的参数模板进行查看、修改和删除。 脚本模板和参数模板的应用场景请参见引用脚本模板和参数模板的使用介绍。 父主题： 配置

查看更多 →

汽车行业场景 应用场景 随着车联网等新业务场景的出现，汽车的数字化营销、智慧生产、智慧门店等新兴场景不断涌现，传统汽车行业的数字化转型成为产业发展趋势，但是与此同时也面临着多种挑战。 挑战一：传统稳态业务资源利用率不高，基础资源无法有效整合。 挑战二：弹性能力不足，无法满足大量在线用户并发接入，网络时延较高。

查看更多 →

Spark Spark基本原理 Spark HA方案介绍 Spark与其他组件的关系 Spark开源增强特性 父主题： 组件介绍

查看更多 →

使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。

查看更多 →

Repo代码仓库中的代码质量 在代码开发过程中，编程人员能力和代码风格不一致，会影响代码的可阅读性和可维护性，例如代码注释要求。或者在某个平台/行业的代码编写要求比较特殊等一列问题，可通过使用代码检查服务检查代码质量。 本示例为您演示检查CodeArts Repo代码仓库中的代码质

查看更多 →

toLong)) //配置Streaming的CheckPoint目录。 //由于窗口概念的存在，此参数是必需的。 ssc.checkpoint(checkPointDir) //获取获取kafka使用的topic列表。 val topicArr

查看更多 →

如何导出函数中的代码？ 登录 函数工作流 控制台，单击函数名称进入函数详情页，单击右上方操作栏下的“导出函数”，继续单击“导出函数代码”。 通过导出函数API接口获取函数代码。 父主题： 创建函数

查看更多 →