并行度让任务的数量和每个任务处理的数据与机器的处理能力达到最优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。

查看更多 →

问答机器人API 功能介绍 用户可通过调用该接口与机器人进行会话。旧版问答机器人API请参见问答会话API（仅支持老用户）。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI

查看更多 →

选择Remote 选择对应要调试的源码模块路径，并配置远端调试参数Host和Port，如图2所示。 其中Host为Spark运行机器IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。 图2 配置参数 当改变Port端口号时，For JDK1.4.x对应的调试命令也跟着改变

查看更多 →

如何使用PySpark连接 MRS Spark？ 问： 如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials

查看更多 →

如何删除机器人 包周期版本机器人 对于包周期计费的智能问答机器人，可执行“退订”操作。 登录对话机器人服务管理控制台。 在控制台中选择“费用与成本”。 进入费用中心页面，在左侧导航栏中选择“订单管理 > 退订与退换货”。 图1 退订与退换货 在“退订使用中的资源”列表中，选择需要退订的机器人，执行退订操作。

查看更多 →

发或者优化服务，基于脱敏数据，训练深度学习或机器学习模型，形成相关的验证报告。普通场景工作量预计不超过18人天 600,000.00 每套 AI算法原型开发-专业版 对业务场景为复杂场景的企业或政府单位进行算法原型开发或者优化服务，基于脱敏数据，训练深度学习或机器学习模型，形成相

查看更多 →

c -lk 9999的命令的机器ip bin/spark-submit --master yarn --deploy-mode client --deploy-mode cluster --class com.huawei.bigdata.spark.examples.streaming

查看更多 →

重新学习服务器 如果已完成进程白名单扩展，但仍然存在较多可信进程运行误报或您的服务器业务存在变更，您可以设置HSS重新学习服务器，校准HSS的应用进程情报数据，避免误报。 重新学习服务器 登录管理控制台。 在页面左上角选择“区域”，单击，选择“安全与合规 > 企业主机安全”，进入主机安全平台界面。

查看更多 →

横向联邦学习场景 TICS 从UCI网站上获取了乳腺癌数据集Breast，进行横向联邦学习实验场景的功能介绍。 乳腺癌数据集：基于医学图像中提取的若干特征，判断癌症是良性还是恶性，数据来源于公开数据Breast Cancer Wisconsin (Diagnostic)。 场景描述

查看更多 →

private static void runBatchJob(Cluster cluster) throws DLI Exception { SparkJobInfo jobInfo = new SparkJobInfo(); jobInfo.setClassName("your

查看更多 →

Spark对接OpenTSDB 创建表关联OpenTSDB 插入数据至OpenTSDB表 查询OpenTSDB表 默认配置修改 父主题： 使用Spark（MRS 3.x之前版本）

查看更多 →

IndexServer2x启动日志。 IndexServer-stop.log IndexServer2x停止日志。 IndexServer.log IndexServer2x运行时，Driver端日志。 indexserver-state-check.log IndexServer2x健康检查日志。

查看更多 →

Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期，应用失败 为什么Spark Str

查看更多 →

Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

开发Spark应用 Spark Core样例程序 Spark SQL样例程序 通过JDBC访问Spark SQL样例程序 Spark读取HBase表样例程序 Spark从HBase读取数据再写入HBase样例程序 Spark从Hive读取数据再写入HBase样例程序 Spark S

查看更多 →

客户端机器必须安装有setuptools，版本为47.3.1。 具体软件，请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客户端机器上，解压后进入解压目录，在客户端机器的命令行终端执行python3

查看更多 →

客户端机器必须安装有setuptools，版本为47.3.1。 具体软件，请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptools压缩文件复制到客户端机器上，解压后进入解压目录，在客户端机器的命令行终端执行python3

查看更多 →

AI防护者初始化 登录AI防护者管理页面，URL地址为“https://<管理节点IP>：8000” 启用主动学习，机器学习设置>主动学习>选择网站>应用 图1 AI防护者初始化1 查看学习内容 图2 AI防护者初始化2 父主题： AI防护者初始化

查看更多 →

调用Spark的JD BCS erver执行Spark SQL，可以实现对海量数据高效的计算和统计分析。JDBCServer包含一个长时运行的Spark任务，在spark-beeline中执行的语句都会交给该任务执行。 启动示例： cd $SPARK_HOME/bin spark-beeline SQL示例：

查看更多 →

AiEngine端所部署的host ip地址。 port integer AiEngine端所侦听的端口号。 max_epoch integer 模型每次训练的迭代次数上限。 learning_rate real 模型训练的学习速率，推荐缺省值1。 dim_red real 模型特征维度降维系数。

查看更多 →