使用广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

配置Spark Core广播变量 操作场景 Broadcast（广播）可以把数据集合分发到每一个节点上，Spark任务在执行过程中要使用这个数据集合时，就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast，每次任务需要数据集合时，都会把数据序列化到任务里面，不但耗时，还使任务变得很大。

查看更多 →

IoTDARegion.CN_NORTH_4 请替换为您要访问的物联网平台的区域，当前物联网平台可以访问的区域，在SDK代码IoTDARegion.java中已经定义。 您可以在控制台上查看当前服务所在区 域名 称，区域名称、区域和终端节点的对应关系，具体步骤请参考地区和终端节点。 REGION_ID

查看更多 →

错误id，用于转换。 code int 32位整数 错误码，跟错误id对应，具体含义参考错误码。 param Object param 对象 失败响应的附带参数。 父主题： 会议控制类

查看更多 →

rts IDE代表您执行的所有操作以及调试器执行的操作，但不会影响在终端中运行的工具。 一个使用“PYTHONPATH”的例子是，如果您有一个包含源代码的“src”文件夹和一个包含测试的“tests”文件夹。在运行测试时，这些测试通常无法访问“src”中的模块，除非您硬编码相对路径。

查看更多 →

然后通过hadoop命令查看对应表的大小。如查看表A的大小命令为： hadoop fs -du -s -h ${test.warehouse.dir}/a 进行广播操作，需要至少有一个表不是空表。 配置自动广播的阈值。 Spark中，判断表是否广播的阈值为10485760（即10M）。如果两个表的大小至少有一个小于10M时，可以跳过该步骤。

查看更多 →

HW_MSG *pstMsg); 此处uiCookie对应于接口中传入的uiCookie，用来匹配业务的请求与响应；如接口中无uiCookie参数，或传入的是无效值，则广播中该参数无意义。 取消订阅广播 1 HW_BroadCastUnreg(HW_CHAR *pcTopic

查看更多 →

广播通信 广播通信概述 广播通信使用说明 广播通信使用示例 父主题： 消息通信

查看更多 →

广播会场 描述 该接口用于广播指定的与会者。同一时间，只允许一个与会者被广播。 调试 您可以在 API Explorer 中调试该接口。 接口原型 表1 接口原型 请求方法 PUT 请求地址 /v1/mmc/control/conferences/participants/broadcast

查看更多 →

然后通过hadoop命令查看对应表的大小。如查看表A的大小命令为： hadoop fs -du -s -h ${test.warehouse.dir}/a 进行广播操作，需要至少有一个表不是空表。 配置自动广播的阈值。 Spark中，判断表是否广播的阈值为10485760（即10M）。如果两个表的大小至少有一个小于10M时，可以跳过该步骤。

查看更多 →

Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 Spark Core内存调优 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能

查看更多 →

操作步骤 在Spark SQL中进行Join操作时，可以按照以下步骤进行优化。为了方便说明，设表A和表B，且A、B表都有个名为name的列。对A、B表进行join操作。 估计表的大小。 根据每次加载数据的大小，来估计表大小。 也可以在Hive的数据库存储路径下直接查看表的大小。首先

查看更多 →

Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 设置Spark Core并行度 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能

查看更多 →

这里Topic必须为“$oc/broadcast/”前缀，消息内容需要使用BASE64编码。 设备接收广播消息，设备接收的广播消息样例如下。 Topic: $oc/broadcast/test 数据内容： {"a":1} 父主题： 广播通信

查看更多 →

使用Spark 运行Spark应用时修改split值报错 提交Spark任务时提示参数格式错误 磁盘容量不足导致Spark、Hive和Yarn服务不可用 引入jar包不正确导致Spark任务无法运行 Spark任务由于内存不够或提交作业时未添加Jar包，作业卡住 提交Spark任

查看更多 →

任何表都可以与广播表进行关联操作。 使用广播HINT的前提是需要确保表的存在性。 例如： 电商企业的订单管理系统，需要查询并统计某个地区的订单数据。这种场景会涉及到地区表与订单流水表进行关联查询，由于订单数据量庞大，订单流水表需要分片存储，因此可以考虑将地区表设计为“广播表”，提高查询效率。

查看更多 →

指定topic的设备发送。 取值范围：长度不超过36，只允许字母、数字、下划线（_）、连接符（-）的组合。 topic_full_name 是 String 参数说明：接收广播消息的完整Topic名称, 必选。用户需要发布广播消息给设备时，可以使用该参数指定完整的topic名称，

查看更多 →

广播通信概述 概述 广播通信常用于一对多的消息通信。多个设备订阅相同的广播Topic，应用 服务器 调用广播消息下发的接口指定广播Topic的名称，就可以给已订阅该广播Topic的所有在线设备发布消息。广播模式的典型用途是根据设备的类别向设备发送通知。 例如，地震局给指定区域内的所有公民发送地震预警信息。

查看更多 →

使用非初级类型的宿主变量 非初级类型的宿主变量包括数组、typedef、结构体和指针类型的宿主变量。 数组 有两种将数组作为宿主变量的情况。第一种情况是在char[]或者VARCHAR[]中存储一些文本字符串。第二种情况是可在检索多行查询结果时不使用游标。如果不使用数组，则处理多

查看更多 →

使用非初级类型的宿主变量 非初级类型的宿主变量包括数组、typedef、结构体和指针类型的宿主变量。 数组 有两种将数组作为宿主变量的情况。第一种情况是在char[]或者VARCHAR[]中存储一些文本字符串。第二种情况是可在检索多行查询结果时不使用游标。如果不使用数组，则处理多

查看更多 →