中软国际数据治理专业服务解决方案实践

建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客

查看更多 →

建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 MRS 3.x之前版本： 登录MRS控制台，在左侧导航栏选择“现有集群”，单击集群名称。选择“节点管理

查看更多 →

尝试在数据库没有其他查询或查询较少的时候运行查询语句，并观察运行效率。如果效率较高，则说明可能是由于之前运行数据库系统的主机负载过大导致查询低效。此外，还可能是执行计划比较低效，但是由于主机硬件较快使得查询效率较高。 检查相同查询语句重复执行的效率。 查询效率低的一个重要原因是查询所需信息没有缓存在内

查看更多 →

提升HBase BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

如图6所示，选择开发场景为“大屏”，单击右侧区域的“开发”，进入到配置的AppCube大屏开发环境。 图6 进入大屏开发环境 如果使用系统默认提供开发环境，进入到默认环境的业务大屏。 如果使用配置的开发环境，进入到配置的开发地址，配置的地址不是直接进入业务大屏，参见下图进入业务大屏。 如图7所示，单击“导入项目包”。

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

子问题的解的合并。对于大容量数据场景，数据库提供对数据进行“分治处理”的方式即分区，将逻辑数据库或其组成元素划分为不同的独立部分，每一个分区维护逻辑上存在相类似属性的数据，这样就把庞大的数据整体进行了切分，有利于数据的管理、查找和维护。 父主题： 大容量数据库

查看更多 →

大屏概述 概述 本文介绍DataArts Insight的大屏功能，数据大屏的常见应用场景包括活动数据监控、项目会议演示、对外接待等场景。 适用场景 数据大屏的常见应用场景包括活动数据监控、项目会议演示、对外接待，是DataArts Insight分析场景的重要组成部分，致力于满足企业高可视化要求的数据展示场景。

查看更多 →

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

查看更多 →

预览大屏 本章节介绍如何预览大屏。 前提条件 已开通DataArts Insight服务。 已创建管理数据源的项目，参考新建项目完成项目创建。 您已获取数据，参考新建数据源。 已创建所需的数据集，参考可视化新建数据集完成数据集创建。 您已制作并保存该数据大屏。 预览大屏操作步骤 登录智能数据洞察控制台。

查看更多 →

在控制台的右侧“我的项目列”选择或搜索对应的项目，单击进入项目。 在项目页面，单击数据分析下“大屏”进入大屏管理页面。 单击大屏操作列“更多>复制”，弹出复制窗口，重命名后单击“确定”，复制成功。此时大屏转态为未发布，如果要发布请参见发布大屏章节。 父主题： 新建数据大屏

查看更多 →

在项目页面，单击数据分析下“大屏”进入大屏管理页面。 单击大屏操作列“更多>删除”，弹出删除窗口，单击“确定”，删除大屏。 父主题： 新建数据大屏

查看更多 →

选择“大Key诊断”，勾选对应的类型，查看对应类型的大Key信息。 图1 大Key诊断 您可以查看大Key的信息。参数请查看表1。 表1 大Key的参数 参数 描述 类型 大Key的类型。 string hash zset set exhash list stream 大Key名

查看更多 →

使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。

查看更多 →

进入目标工作空间管理页面 在左侧导航栏选择“安全态势 > 安全大屏”，进入安全大屏页面。 图2 进入安全大屏页面 单击“资产大屏”图片，进入资产大屏信息页面，如图3。 页面中各个模块的功能介绍和使用方法详见下述内容。 图3 资产大屏 资产大屏总览 如图4所示，展示当前工作空间内资产、受攻击资

查看更多 →

大版本升级 使用须知 目前DDS不支持直接通过控制台进行版本升级。如您需要可以通过数据复制服务进行迁移。 例如：使用数据复制服务将DDS 3.4版本迁移到DDS 4.0版本，可以实现应用不停服的情况下，平滑完成数据库的迁移工作。 限制条件 通过数据复制服务进行迁移，需要提前准备好待迁移到的高版本数据库实例。

查看更多 →

查找项目 单击左侧“数据管理 > 数据集”，进入数据集管理页面，单击对应数据集操作列表下的“新建大屏”进入创建大屏页面。 步骤2：添加组件 进入大屏后，需要为大屏添加相关组件，配置组件的字段和样式。更多组件的操作参考大屏组件章节。 大屏组件作为数据大屏的主要组成部分，数据大屏提供多种类型

查看更多 →

编辑大屏 本章节通过一个简单的示例向您介绍如何编辑大屏。 大屏开发页面总览 登录 DLV 控制台，在“我的大屏”页面，找到需要编辑的大屏，将鼠标移至该大屏图标上，然后单击编辑按钮进入大屏开发页面。 在大屏开发页面中，您可以根据业务需求设计和开发大屏，完成添加组件、页面布局、关联数据源和发布大屏等操作。

查看更多 →

大对象类型 概述 BLOB是一个二进制大对象，可以容纳可变数量的数据。这四个BLOB 类型是TINYBLOB，BLOB， MEDIUMBLOB和LONGBLOB。这些不同之处仅在于各自可以容纳的值的最大长度不同。DSC工具支持以下列出类型转换。 BLOB类型可以存储图片，列存储不支持BLOB。

查看更多 →