com:443/dl_model/model.h5"。 参数说明 表1 参数说明 参数 是否必选 说明 field_name 是 数据在数据流中的字段名。 图像分类中field_name类型需声明为ARRAY[TINYINT]。 文本分类中field_name类型需声明为String。 model_path

查看更多 →

com:443/dl_model/model.h5"。 参数说明 表1 参数说明 参数 是否必选 说明 field_name 是 数据在数据流中的字段名。 图像分类中field_name类型需声明为ARRAY[TINYINT]。 文本分类中field_name类型需声明为String。 model_path

查看更多 →

用场景的深刻理解，这依赖于经验。 调整参数和超参数。 神经网络中：学习率、学习衰减率、隐藏层数、隐藏层的单元数、Adam优化算法中的β1和β2参数、batch_size数值等。 其他算法中：随机森林的树数量，k-means中的cluster数，正则化参数λ等。 增加训练数据作用不大。

查看更多 →

；在模型计算方面，MoXing对上层模型提供半精度和单精度组成的混合精度计算，通过自适应的尺度缩放减小由于精度计算带来的损失；在超参调优方面，采用动态超参策略（如momentum、batch size等）使得模型收敛所需epoch个数降到最低；在底层优化方面，MoXing与底层华

查看更多 →

开发阶段：准备并配置环境，调试代码，使代码能够开始进行深度学习训练，推荐在ModelArts开发环境中调试。 实验阶段：调整数据集、调整超参等，通过多轮实验，训练出理想的模型，推荐在ModelArts训练中进行实验。 两个过程可以相互转换。如开发阶段代码稳定后，则会进入实验阶段，通过不断尝试调整超参来迭代模型；或在

查看更多 →

conf”中的“spark.executor.instance”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_INSTANCES”配置项设置为合适大小。 在使用spark-submit命令时，添加“--num-executors NUM”参数设置Executor个数。

查看更多 →

conf”中的“spark.executor.instance”配置项或者“spark-env.sh”中的“SPARK_EXECUTOR_INSTANCES”配置项设置为合适大小。 在使用spark-submit命令时，添加“--num-executors NUM”参数设置Executor个数。

查看更多 →

案例：调整GUC参数best_agg_plan 现象描述 agg_t1的表定义为： 1 create table agg_t1(a int, b int, c int) distribute by hash(a); 假设agg下层算子所输出结果集的分布列为setA，agg操作的group

查看更多 →

版本列表中查看。 上线模型 创建好的模型，需要发布上线，才能生效。发布指定模型后，会替代当前的线上模型版本。 在模型管理页面，在需要上线的版本的操作列单击“发布上线”。 图4 发布上线 在“上线模型”对话框中，确认模型信息后，单击“确认”上线模型。 图5 确定发布 调整阈值 训练

查看更多 →

案例：调整GUC参数best_agg_plan 现象描述 t1的表定义为： 1 create table t1(a int, b int, c int) distribute by hash(a); 假设agg下层算子所输出结果集的分布列为setA，agg操作的group by

查看更多 →

案例：调整GUC参数best_agg_plan 现象描述 agg_t1的表定义为： 1 create table agg_t1(a int, b int, c int) distribute by hash(a); 假设agg下层算子所输出结果集的分布列为setA，agg操作的group

查看更多 →

案例：调整GUC参数best_agg_plan 现象描述 t1的表定义为： 1 create table t1(a int, b int, c int) distribute by hash(a); 假设agg下层算子所输出结果集的分布列为setA，agg操作的group by

查看更多 →

Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘，则在每个磁盘配置一个Spark的localDir，这将有效分散Shuffle文件的存放，提高磁盘I/O的效率。如果只有一个磁盘，配置了多个目录，性能提升效果不明显。

查看更多 →

Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘，则在每个磁盘配置一个Spark的localDir，这将有效分散Shuffle文件的存放，提高磁盘I/O的效率。如果只有一个磁盘，配置了多个目录，性能提升效果不明显。

查看更多 →

维护经验管理 前提条件 已具备“设置告警维护经验”的操作权限。 背景信息 “告警设置 > 维护经验”中管理的维护经验与告警详情中的维护经验为同一个经验库。 最多可创建10000条维护经验。 操作步骤 在NetEco主菜单中选择“设备管理 > 告警管理 > 告警设置”。 在左侧导航树中选择“维护经验”。

查看更多 →

Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘，则在每个磁盘配置一个Spark的localDir，这将有效分散Shuffle文件的存放，提高磁盘I/O的效率。如果只有一个磁盘，配置了多个目录，性能提升效果不明显。

查看更多 →

选择其他方法。 说明： 如果只需要在当前数据库连接（即当前Session）中临时更改该参数值，则只需要在SQL语句中执行如下命令： 1 SET enable_nestloop to off; 实际调优中应根据情况选择是否关闭。一般情况下，在三种join方式（Nested Loop、Merge

查看更多 →

选择其他方法。 说明： 如果只需要在当前数据库连接（即当前Session）中临时更改该参数值，则只需要在SQL语句中执行如下命令： 1 SET enable_nestloop to off; 实际调优中应根据情况选择是否关闭。一般情况下，在三种join方式（Nested Loop、Merge

查看更多 →

说明： 如果只需要在当前数据库连接（即当前Session）中临时更改该参数值，则只需要在SQL语句中执行如下命令： 1 SET enable_nestloop to off; 此参数默认设置为“on”，但实际调优中应根据情况选择是否关闭。一般情况下，在三种join方式（Nested

查看更多 →

选择其他方法。 说明： 如果只需要在当前数据库连接（即当前Session）中临时更改该参数值，则只需要在SQL语句中执行如下命令： 1 SET enable_nestloop to off; 实际调优中应根据情况选择是否关闭。一般情况下，在三种join方式（Nested Loop、Merge

查看更多 →

说明： 如果只需要在当前数据库连接（即当前Session）中临时更改该参数值，则只需要在SQL语句中执行如下命令： 1 SET enable_nestloop to off; 此参数默认设置为“on”，但实际调优中应根据情况选择是否关闭。一般情况下，在三种join方式（Nested

查看更多 →