使用广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

IoTDARegion.CN_NORTH_4 请替换为您要访问的物联网平台的区域，当前物联网平台可以访问的区域，在SDK代码IoTDARegion.java中已经定义。 您可以在控制台上查看当前服务所在区 域名 称，区域名称、区域和终端节点的对应关系，具体步骤请参考地区和终端节点。 REGION_ID

查看更多 →

rts IDE代表您执行的所有操作以及调试器执行的操作，但不会影响在终端中运行的工具。 一个使用“PYTHONPATH”的例子是，如果您有一个包含源代码的“src”文件夹和一个包含测试的“tests”文件夹。在运行测试时，这些测试通常无法访问“src”中的模块，除非您硬编码相对路径。

查看更多 →

错误id，用于转换。 code int 32位整数 错误码，跟错误id对应，具体含义参考错误码。 param Object param 对象 失败响应的附带参数。 父主题： 会议控制类

查看更多 →

然后通过hadoop命令查看对应表的大小。如查看表A的大小命令为： hadoop fs -du -s -h ${test.warehouse.dir}/a 进行广播操作，需要至少有一个表不是空表。 配置自动广播的阈值。 Spark中，判断表是否广播的阈值为10485760（即10M）。如果两个表的大小至少有一个小于10M时，可以跳过该步骤。

查看更多 →

然后通过hadoop命令查看对应表的大小。如查看表A的大小命令为： hadoop fs -du -s -h ${test.warehouse.dir}/a 进行广播操作，需要至少有一个表不是空表。 配置自动广播的阈值。 Spark中，判断表是否广播的阈值为10485760（即10M）。如果两个表的大小至少有一个小于10M时，可以跳过该步骤。

查看更多 →

Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 配置Yarn模式下Spark动态资源调度 调整Spark Core进程参数 Spark

查看更多 →

Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 设置Spark Core并行度 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能

查看更多 →

操作步骤 在Spark SQL中进行Join操作时，可以按照以下步骤进行优化。为了方便说明，设表A和表B，且A、B表都有个名为name的列。对A、B表进行join操作。 估计表的大小。 根据每次加载数据的大小，来估计表大小。 也可以在Hive的数据库存储路径下直接查看表的大小。首先

查看更多 →

HW_MSG *pstMsg); 此处uiCookie对应于接口中传入的uiCookie，用来匹配业务的请求与响应；如接口中无uiCookie参数，或传入的是无效值，则广播中该参数无意义。 取消订阅广播 1 HW_BroadCastUnreg(HW_CHAR *pcTopic

查看更多 →

广播会场 描述 该接口用于广播指定的与会者。同一时间，只允许一个与会者被广播。 调试 您可以在 API Explorer 中调试该接口。 接口原型 表1 接口原型 请求方法 PUT 请求地址 /v1/mmc/control/conferences/participants/broadcast

查看更多 →

广播通信 广播通信概述 广播通信使用说明 广播通信使用示例 父主题： 消息通信

查看更多 →

Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题： Spark应用调优

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任

查看更多 →

广播会场 接口名称 WEB_ConfBroadcastSiteAPI 功能描述 广播会场。 应用场景 只有主席才能进行该操作。 在会场列表中选择一个会场进行广播操作，也可以选择广播多画面。语音会场和未入会会场不能被广播。某个会场被广播后，其他会场都会看到该会场的图像。 处理结果由

查看更多 →

广播消息 下发广播消息 父主题： API

查看更多 →

"CONF_NOT_FOUND_OR_AUTH_FAILED" } 状态码 状态码 描述 200 操作成功。 400 参数异常。 错误码 当您使用华为云会议服务端API时，如果遇到“MMC”或者“USG”开头的错误码，请参考华为云API错误中心。 父主题： 接口参考

查看更多 →

这里Topic必须为“$oc/broadcast/”前缀，消息内容需要使用BASE64编码。 设备接收广播消息，设备接收的广播消息样例如下。 Topic: $oc/broadcast/test 数据内容： {"a":1} 父主题： 广播通信

查看更多 →

任何表都可以与广播表进行关联操作。 使用广播HINT的前提是需要确保表的存在性。 例如： 电商企业的订单管理系统，需要查询并统计某个地区的订单数据。这种场景会涉及到地区表与订单流水表进行关联查询，由于订单数据量庞大，订单流水表需要分片存储，因此可以考虑将地区表设计为“广播表”，提高查询效率。

查看更多 →