Python和Spark开发平台 创建特征工程 数据采样 列筛选 数据准备 特征操作 Notebook开发 全量数据应用 发布服务 父主题： 特征工程

查看更多 →

Spark应用开发流程介绍 Spark应用程序开发流程 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明

查看更多 →

Java应用程序开发 windows环境：java客户端仅支持64位操作系统与64位java sdk。 SDK客户端配置 SDK客户端调用 示例Demo 父主题： 应用程序开发

查看更多 →

新建系统变量CLASSPATH，变量值为%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar 。 打开命令行窗口，输入“java -version”，显示如图1 Java版本信息表示配置成功。 图1 Java版本信息 父主题： 使用SDK（Java）

查看更多 →

新建系统变量CLASSPATH，变量值为“%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar” 。 打开命令行窗口，输入“java -version”，显示如图1表示配置成功。 图1 Java版本信息 父主题： 使用SDK（Java）

查看更多 →

主题管理 查询Topic列表 创建Topic 修改Topic 删除Topic 批量删除Topic 导入Topic 导出Topic 下载证书 查询topic的磁盘存储情况 父主题： 消息集成API

查看更多 →

b2bd57:test_topic_v2" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 创建名称为test_topic_v2，且显示名为testtest的主题 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

查看更多 →

主题操作 查询主题列表 创建主题 查询主题详情 更新主题 删除主题 查询主题策略 删除所有主题策略 更新主题策略 删除指定名称的主题策略 父主题： API

查看更多 →

在左侧导航栏，选择“主题管理” > “主题”。 进入主题页面。 在主题页面，单击“创建主题”，开始创建主题。 此时将显示“创建主题”对话框。 图1 创建主题 在“主题名称”框中，输入主题名称，在“显示名”框中输入相关描述，如表1所示。 表1 创建主题参数说明 参数 说明 主题名称 创建的主题名称，用户可自定义名称，规范如下：

查看更多 →

在右侧设置“主题名称”为“表单按钮字体颜色”，单击页面右上方保存图标。 关闭“创建主题”页面，返回“主题配置”页签，在主题列表中单击刚配置好主题后的“OFF”，启用该主题。 若上一步编译不成功，需要修改主题配置，修改主题配置需要单击“ON”禁用该主题，再单击。 界面化方式 在主题配置页签，单击“界面化新建”。

查看更多 →

String 父节点ID。 l1 否 Boolean 是否为L1层。主题域分组。 l2 否 Boolean 是否为L2层。主题域。 l3 否 Boolean 是否为L3层。业务对象。 ordinal 否 Integer 顺序编号。主题返回时根据此编号由小到大排序。 tenantId 否 String

查看更多 →

修改主题 功能介绍 修改主题。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/instances/{instance_id}/topics/{topic} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String

查看更多 →

告警主题 查询SMN主题 父主题： API说明

查看更多 →

创建主题或批量删除主题 功能介绍 创建主题或批量删除主题。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/instances/{instance_id}/topics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是

查看更多 →

Java开发环境配置 操作场景 在安装和使用Java SDK前，确保您已经完成开发环境的基本配置。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。 在Java运行环境配置好的情况下，打开windows的命令行，执行命令Java -version，可以检查版本信息。

查看更多 →

Java应用程序开发 windows环境：java客户端仅支持64位操作系统与64位Java SDK。 SDK客户端配置 SDK客户端调用 示例Demo 父主题： 应用程序开发

查看更多 →

如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：

查看更多 →

Spark同步HBase数据到CarbonData（Java） 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。

查看更多 →

如何采用Java命令提交Spark应用 问题 除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下：

查看更多 →

Spark同步HBase数据到CarbonData（Java） 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。

查看更多 →

准备Spark应用开发用户 前提条件 MRS 服务集群开启了Kerberos认证，没有开启Kerberos认证的集群忽略该步骤。 操作场景 开发用户用于运行样例工程。用户需要有HDFS、YARN和Hive权限，才能运行Spark样例工程。 操作步骤 登录MRS Manager，请参考登录MRS

查看更多 →