中软国际数据治理专业服务解决方案实践

快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，适合用于数据仓库的统计分析。 背景信息

查看更多 →

快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导，通过客户端实现创建表，往表中插入数据，修改表，读取表数据，删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序，用于管理

查看更多 →

查询封堵统计数据 功能介绍 查询封堵统计数据 调用方法 请参见如何调用API。 URI GET /v1/unblockservice/{domain_id}/block-statistics 表1 路径参数 参数 是否必选 参数类型 描述 domain_id 是 String 租户id

查看更多 →

权限，系统不会自动取消数据库目录的HDFS权限，但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限，数据库中的表也将自动添加或删除查询权限。此机制为Hive实现，SparkSQL与Hive保持一致。 Spark不支持struct数据类型中列名称含有特殊字

查看更多 →

快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具，可将结构化的数据文件映射成一张数据库表，并提供类SQL的功能对数据进行分析处理，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 背景信息

查看更多 →

后将解析后的日志数据发送到ELK的ElasticSearch进行存储。 ELK的ElasticSearch接收到日志数据后，生成日志数据的索引并存储数据，为Kibana的可视化显示提供聚合搜索和数据分析的支撑。 用户使用ELK的Kibana创建日志视图，基于Logstash拆分的

查看更多 →

业务对象：用于定义业务领域重要的人、事、物、地。数据架构建设和治理主要围绕业务对象开展。 数据owner确定方法 结合业务现状以及各部门的数据管理现状，针对识别出的相关业务对象，明确各业务对象的管理责任方，即数据owner。数据owner明确了数据的归属责任方，为数据管理提高了数据管理能力，增强数据的准确性及应用性。

查看更多 →

权限，系统不会自动取消数据库目录的HDFS权限，但对应的用户只能登录数据库和查看表名。 若为角色添加或删除数据库的查询权限，数据库中的表也将自动添加或删除查询权限。此机制为Hive实现，SparkSQL与Hive保持一致。 Spark不支持struct数据类型中列名称含有特殊字符

查看更多 →

快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导，在集群Master节点中更新客户端，通过客户端实现创建表，往表中插入数据，修改表，读取表数据，删除表中数据以及删除表的功能。 背景信息

查看更多 →

评论统计 功能介绍 根据数据集ID统计该数据集下的评论。 URI URI格式 GET /softcomai/datalake/v1.0/datasets/comment/statistics 参数说明 无。 请求 请求样例 GET https://ipaddr:port/data

查看更多 →

智能统计 查询人流统计日周月年信息 获取时间热度图统计 获取空间热度图统计 父主题： 行业数据流管理

查看更多 →

仓库统计 功能介绍 根据仓库短id，查询仓库的代码提交记录统计 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/repositories/{repo

查看更多 →

作业统计 功能介绍 功能描述：用户可以使用该接口进行空间作业统计。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/jobs-statistics 表1 路径参数 参数 是否必选 参数类型 描述 league_id

查看更多 →

统计用量 您可以查看实景三维生产服务时空专属存储或影像建模的用量统计。 时空专属存储用量：包括用户上传的数据、数据生产过程中产生的中间数据以及实景三维模型成果数据的存储总量。 用户上传的数据：倾斜摄影影像（航空飞机影像和无人机影像）、生产资料、精修后处理任务的输入数据（精修前后的obj数据）。

查看更多 →

统计查询 功能介绍 返回满足查询条件的实体总量，不返回数据的具体信息，代码中设置setCountOnly()。 样例代码 public void testCountOnlyQuery() { LOG .info("Entering testCountOnlyQuery.");

查看更多 →

的语句统计数据，而其他的只记录针对每个模块的统计数据。 log_statement_stats不能和其他任何针对每个模块统计的选项一起打开。 取值范围：布尔型 on表示开启记录性能统计数据的功能。 off表示关闭记录性能统计数据的功能。 默认值：off 父主题： 运行时统计

查看更多 →

在左侧菜单栏中，选择“统计分析（新） > 业务监控”，进入业务监控页面。 选择“访问统计”页签，配置您需要的查询条件，您将查询到以下数据。 环比数据：展示当前统计周期与上一周期的数据对比结果。 流量/带宽趋势：展示不同时间段内查询 域名 的流量/带宽使用情况。 95峰值和平均日峰值的统计范围与带宽

查看更多 →

log_statement_stats记录总的语句统计数据，而其他参数只记录针对每个模块的统计数据。 log_statement_stats不能和其他任何针对每个模块统计的选项一起打开。 取值范围：布尔型 on表示开启记录性能统计数据的功能。 off表示关闭记录性能统计数据的功能。 默认值：off 父主题：

查看更多 →

log_statement_stats记录总的语句统计数据，而其他参数只记录针对每个模块的统计数据。 log_statement_stats不能和其他任何针对每个模块统计的选项一起打开。 取值范围：布尔型 on表示开启记录性能统计数据的功能。 off表示关闭记录性能统计数据的功能。 默认值：off 父主题：

查看更多 →

使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结

查看更多 →

使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结

查看更多 →