Spark SQL程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Spark作业相类 Spark作业开发类 Spark作业运维类

查看更多 →

SPARK_HOME=/opt/spark-2.3.3 export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。 重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置：

查看更多 →

管理Spark作业 查看Spark作业的基本信息 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。 表1

查看更多 →

MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未

查看更多 →

对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql

查看更多 →

选择Remote 选择对应要调试的源码模块路径，并配置远端调试参数Host和Port，如图2所示。 其中Host为Spark运行机器IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。 图2 配置参数 当改变Port端口号时，For JDK1.4.x对应的调试命令也跟着改变

查看更多 →

并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。

查看更多 →

中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn

查看更多 →

如何使用PySpark连接MRS Spark？ 问： 如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials

查看更多 →

问答机器人API 功能介绍 用户可通过调用该接口与机器人进行会话。旧版问答机器人API请参见问答会话API（仅支持老用户）。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI

查看更多 →

联邦学习作业管理 查询联邦学习作业列表 父主题： 空间API

查看更多 →

客户端机器必须安装有setuptools，版本为47.3.1。 具体软件，请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客户端机器上，解压后进入解压目录，在客户端机器的命令行终端执行python3

查看更多 →

客户端机器必须安装有setuptools，版本为47.3.1。 具体软件，请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客户端机器上，解压后进入解压目录，在客户端机器的命令行终端执行python3

查看更多 →

c -lk 9999的命令的机器ip bin/spark-submit --master yarn --deploy-mode client --deploy-mode cluster --class com.huawei.bigdata.spark.examples.streaming

查看更多 →

Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述：http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示： spark-shell

查看更多 →

机器翻译服务接口说明 文本翻译 语种识别 文档翻译任务创建 文档翻译状态查询 父主题： API

查看更多 →

添加流程变量界面 图2 流程编排示例 保存并发布流程。 选择“智能机器人”，将流程绑定机器人。 选择“智能机器人”，在对应机器人的最后一列单击“呼叫测试”，在弹出的测试对话窗口中单击“开始呼叫”，测试机器人。机器人自动回答流程编排中的变量值表示配置成功。 父主题： 图元

查看更多 →

String 接入标识（机器人接入码） type True String 查询类型 hour: 按小时查询 day: 按天查询 consultCount True int 机器人总的回复数 responseSuccessCount True int 机器人总的成功回复数 unknowCount

查看更多 →

是否支持提出一个问题得到多个回答 问答数据保留时间 如何修改机器人规格，不同版本机器人区别 如何删除机器人 智能问答机器人的回答规则是什么 如何查询机器人使用情况 如何使用问答语料导入模板 子账户导出数据受obs权限影响时怎么处理 新购买的机器人是否可以与旧机器人共享语料库 问答机器人进行规格变更，是否会影响业务

查看更多 →

AI防护者初始化 登录AI防护者管理页面，URL地址为“https://<管理节点IP>：8000” 启用主动学习，机器学习设置>主动学习>选择网站>应用 图1 AI防护者初始化1 查看学习内容 图2 AI防护者初始化2 父主题： AI防护者初始化

查看更多 →