使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强

查看更多 →

将打包生成的jar包上传到Spark客户端所在 服务器 的任意目录（例如“ /opt/” ）下。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid。其中每条数据key值全表唯一，modify_time代表修改时间，valid代表是否为有效数据（该样例中'1'为有效，'0'为无效数据）。

查看更多 →

预览大屏 本章节介绍如何预览大屏。 前提条件 已开通DataArts Insight服务。 已创建管理数据源的项目，参考新建项目完成项目创建。 您已获取数据，参考新建数据源。 已创建所需的数据集，参考可视化新建数据集完成数据集创建。 您已制作并保存该数据大屏。 预览大屏操作步骤 登录智能数据洞察控制台。

查看更多 →

在控制台的右侧“我的项目列”选择或搜索对应的项目，单击进入项目。 在项目页面，单击数据分析下“大屏”进入大屏管理页面。 单击大屏操作列“更多>复制”，弹出复制窗口，重命名后单击“确定”，复制成功。此时大屏转态为未发布，如果要发布请参见发布大屏章节。 父主题： 新建数据大屏

查看更多 →

在项目页面，单击数据分析下“大屏”进入大屏管理页面。 单击大屏操作列“更多>删除”，弹出删除窗口，单击“确定”，删除大屏。 父主题： 新建数据大屏

查看更多 →

大屏概述 概述 本文介绍DataArts Insight的大屏功能，数据大屏的常见应用场景包括活动数据监控、项目会议演示、对外接待等场景。 适用场景 数据大屏的常见应用场景包括活动数据监控、项目会议演示、对外接待，是DataArts Insight分析场景的重要组成部分，致力于满足企业高可视化要求的数据展示场景。

查看更多 →

选择“大Key诊断”，勾选对应的类型，查看对应类型的大Key信息。 图1 大Key诊断 您可以查看大Key的信息。参数请查看表1。 表1 大Key的参数 参数 描述 类型 大Key的类型。 string hash zset set exhash list stream 大Key名

查看更多 →

进入目标工作空间管理页面 在左侧导航栏选择“安全态势 > 安全大屏”，进入安全大屏页面。 图2 进入安全大屏页面 单击“资产大屏”图片，进入资产大屏信息页面，如图3。 页面中各个模块的功能介绍和使用方法详见下述内容。 图3 资产大屏 资产大屏总览 如图4所示，展示当前工作空间内资产、受攻击资

查看更多 →

编辑大屏 本章节通过一个简单的示例向您介绍如何编辑大屏。 大屏开发页面总览 登录 DLV 控制台，在“我的大屏”页面，找到需要编辑的大屏，将鼠标移至该大屏图标上，然后单击编辑按钮进入大屏开发页面。 在大屏开发页面中，您可以根据业务需求设计和开发大屏，完成添加组件、页面布局、关联数据源和发布大屏等操作。

查看更多 →

大版本升级 使用须知 目前DDS不支持直接通过控制台进行版本升级。如您需要可以通过数据复制服务进行迁移。 例如：使用数据复制服务将DDS 3.4版本迁移到DDS 4.0版本，可以实现应用不停服的情况下，平滑完成数据库的迁移工作。 限制条件 通过数据复制服务进行迁移，需要提前准备好待迁移到的高版本数据库实例。

查看更多 →

查找项目 单击左侧“数据管理 > 数据集”，进入数据集管理页面，单击对应数据集操作列表下的“新建大屏”进入创建大屏页面。 步骤2：添加组件 进入大屏后，需要为大屏添加相关组件，配置组件的字段和样式。更多组件的操作参考大屏组件章节。 大屏组件作为数据大屏的主要组成部分，数据大屏提供多种类型

查看更多 →

配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted

查看更多 →

如何使用PySpark连接 MRS Spark？ 问：如何在E CS 服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答：将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials.hbase

查看更多 →

本章节示例中使用的jar样例程序为“{集群客户端安装目录}/Spark2x/spark/examples/jars/spark-examples_*.jar”（部分版本集群中Spark2x文件夹名称为Spark，请以实际为准）。 可登录客户端节点执行如下命令，将待运行的jar包样例上传至HDFS中，请参考使用HDFS客户端。

查看更多 →

大对象类型 概述 BLOB是一个二进制大对象，可以容纳可变数量的数据。这四个BLOB 类型是TINYBLOB，BLOB， MEDIUMBLOB和LONGBLOB。这些不同之处仅在于各自可以容纳的值的最大长度不同。DSC工具支持以下列出类型转换。 BLOB类型可以存储图片，列存储不支持BLOB。

查看更多 →

大屏Demo 描述 大屏Demo，开箱即用的大屏样例，需要配合应用资产中“大屏数据处理应用模板”一起使用。 开放能力 大屏Demo为模板资产，订购后下载到本地，通过导入的方式上传到“业务大屏”下使用。 大屏Demo提供了指挥看板页面，如图1所示。 图1 指挥看板页面 如何使用资产

查看更多 →

大屏组件 常用图表 制作地图 制作媒体 制作文本 添加素材 制作交互 其他组件使用 父主题： 新建数据大屏

查看更多 →

可视大屏 单击主菜单的“可视化”，默认进入“运营大屏”页面。 选择大屏单击进入，根据大屏所展示的状态与数据进行决策。 大屏详细内容请参见可视化运营大屏。 父主题： 大屏可视

查看更多 →

e>根据场景而定，但要求该值至少比其中一个表大。 spark.sql.autoBroadcastJoinThreshold = <size> 利用Hive CLI命令，设置阈值。在运行Join操作时，提前运行下面语句 SET spark.sql.autoBroadcastJoinThreshold=<size>

查看更多 →

单击“登录”，进入沙箱环境，如图8所示。 图8 沙箱环境 部署大屏到沙箱环境 示例中以导入方式为例，部署大屏应用到沙箱环境，以便于测试该大屏。 登录沙箱环境，如图9所示，单击“DMAX”，进入业务大屏。 图9 进入业务大屏 如图10所示，单击“导入项目包”。 图10 导入项目包 选择导出的本地项目包。

查看更多 →

具体操作请参见如何控制接口访问权限。 大屏数据处理应用模板服务集成示例： 如何使用资产 以在大屏Demo页面上进行配置为例。 订购并安装部署大屏数据处理应用模板资产到对应的开发环境。 相关操作请参见如何订购&部署资产。 在开发环境首页，如图1所示，单击“项目”页签，单击“业务大屏”。 图1 进入业务大屏 如图

查看更多 →