Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败

查看更多 →

Java语言链代码开发 链代码结构 链代码相关的API 链代码示例 链代码调测 父主题： 链代码开发

查看更多 →

"6a63a18b8bab40ffb71ebd9cb80d0085" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 更新名称为test_topic_v2的主题的显示名为testtest222 1 2 3 4 5 6 7 8 9 10 11 12

查看更多 →

Statement语句作用的主题。 Resource和NotResource两者任选其一。选定后，填写内容为主题URN。 NotResource String Statement语句排除作用的主题。 Resource和NotResource两者任选其一。选定后，填写内容为主题URN。 状态码：

查看更多 →

，可以对自定义主题进行关闭。 编辑屏幕主题 在需要编辑的屏幕主题对应的“名称”列下，单击主题名称，可以编辑屏幕主题。 下载屏幕主题 在需要下载的屏幕主题对应的“操作”列下，单击“下载”，可以把自定义主题下载至本地。 删除屏幕主题 在需要删除的屏幕主题对应的“操作”列下，单击“删除”，可以删除该屏幕主题。

查看更多 →

订阅主题列表支持主题搜索、取消订阅、删除操作。 表1 订阅主题列表操作 订阅记录操作 说明 主题搜索 在订阅主题列表左上角搜索框，输入主题名，单击左侧或者按回车键直接搜索。 取消订阅 在订阅主题列表下，选择需要取消的主题，关闭订阅按钮即可。 说明： 除了在控制台取消订阅，也支持用

查看更多 →

设置主题策略 基本模式 父主题： 主题管理

查看更多 →

发布主题消息 发布主题消息简介 向主题发布文本消息 向主题发布JSON消息 向主题发布模板消息 父主题： 主题管理

查看更多 →

删除主题(新) 功能介绍 删除主题(新)。 调用方法 请参见如何调用API。 URI DELETE /v3/{project_id}/design/subjects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。

查看更多 →

修改主题(新) 功能介绍 修改主题(新)。 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/design/subjects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。

查看更多 →

Spark应用开发环境简介 在进行应用开发时，要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境，用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑， MRS 服务端只支持TLS

查看更多 →

新建Spark应用开发工程（可选） 操作场景 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Proje

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制

查看更多 →

准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark Python3样例工程 父主题： Spark2x开发指南（普通模式）

查看更多 →

Application的结构 Spark Application的结构可分为两部分：初始化SparkContext和主体程序。 初始化SparkContext：构建Spark Application的运行环境。 构建SparkContext对象，如： new SparkContext(master

查看更多 →

准备Spark应用开发环境 Spark应用开发环境简介 准备Spark应用开发用户 准备Spark应用Java开发环境 准备Spark应用Scala开发环境 准备Spark应用Python开发环境 准备Spark应用运行环境 导入并配置Spark样例工程 新建Spark应用开发工程（可选）

查看更多 →

Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出

查看更多 →

准备Spark应用开发环境 准备Spark本地应用开发环境 准备Spark连接集群配置文件 导入并配置Spark样例工程 新建Spark样例工程（可选） 配置Spark应用安全认证 配置Spark Python3样例工程 父主题： Spark2x开发指南（安全模式）

查看更多 →

Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 SparkSQL UDF功能的权限控制机制

查看更多 →

查询主题数据 功能介绍 为网图服务提供查询主题数据接口。 URI URI格式 POST /softcomai/datalake/v1.0/datasets/querySubjectData 参数说明 无。 请求 请求样例 POST https://endpoint/softcomai/datalake/v1

查看更多 →