数据管理与分析
数据管理与分析
- 帆软商业智能解决方案
- 滴普科技数据智能平台解决方案
- 端边云车联网Serverless数据湖解决方案
- 华为云通用数据使能解决方案实践
- 天眼查商业查询解决方案实践
- 快速构建高可用TiDB集群
- 快速构建高可用Flink集群
- 华为云政务场景数据使能解决方案
- 数鑫科技领域数据空间解决方案
- 普元元数据资产管理解决方案
- 驾驶行为分析
- 软通动力数据中台及数据治理服务解决方案实践
- 中软国际数据治理专业服务解决方案实践
- 永洪商业智能解决方案
- 基于OBS配置大数据存算分离集群
- 翼海云峰大数据服务解决方案
- 观远商业智能数据分析解决方案
- 八六三智能数据平台解决方案
- 文档下载
- 通用参考
链接复制成功!
数据中心
新建数据集(文件)
- 数据中心数据集页面右上角单击新建数据集,目前观远数据支持各类主流数据库、常用文件、SaaS源和融合数据。(此处以文件和数据库为例)
图1 新建数据集
- 选择文件,勾选常用文件类型,进入下一步。上传本地文件,可选择需要的工作簿批量上传,可预览表中30行数据。 表头字段可在此处进行修改,也可以单击下拉箭头,修改字段格式。完成后编辑数据集名称、选择保存路径,最后单击确定新建,数据集创建成功。
图2 选择数据表图3 确认数据表信息
新建数据集(数据库)
- 新建数据集选择数据库,勾选数据库类型进入下一步,选择账户进行数据库查询,查询结果可进行预览;预览结果无误,可进入下一步。
图4 选择连接器图5 选择数据表
- 数据库连接方式分直连和guan-index两种。直连数据库可选择数据更新周期,也支持实时卡片数据;guan-index也可选择数据更新周期,另外还支持增量更新。选择好同样可修改表头字段和格式、然后填写数据集名称和保存路径,确认新建即可。
图6 数据连接及更新设置图7 确认数据表信息
数据集管理
- 数据集页面可查看数据集的类型、名称、行/列数、最近更新时间和其他操作。用户是使用者,可以预览数据集,可以用数据集新建卡片,但无法修改数据集相关信息;用户是所有者的,除预览和新建卡片外,还可以进行数据集相关的修改。勾选多个数据集,针对数据集可批量更新、移动和删除。
图8 数据集管理1图9 数据集管理2
- 页面左上角搜索框内输入数据集名称关键字,可以快速查找到目标数据集。针对搜索结果,还可以根据所有(数据集拥有者权限身份)、所有类型(数据集的类型属性)、所有更新状态进行二次筛选。
图10 数据集管理3
数据更新管理
- 数据集详情页数据更新,guan-index可选择增量更新,设置更新周期,周期可为手动更新,也可定时更新。为了方便外部系统在数据更新完毕后,及时通知观远平台来同步数据,可以勾选URL触发。
图11 数据更新1
- 直连数据库也可以支持更新周期的设置和URL触发,另外可以勾选支持实时卡片数据。
图12 数据更新2
创建数据账号
- 数据中心数据账户,右上角单击新建数据账户,选择账号平台,再进行相关信息的填写,填写后单击测试连接,链接成功点确定,账户创建完成。
图13 数据中心图14 添加账户
- 在数据账户列表内可展示数据库类型、账户名称、所有者、使用者、数据集数和操作。使用者后的[+]按钮,单击可添加授权使用者。
- 单击编辑,可以针对账户信息进行修改,也可以将账户进行另存为和删除的操作。
智能ETL
- 数据中心智能ETL,左上角搜索区,可以依据关键字快速查找所需ETL,也可以根据运行状态进行筛选。右上角可以新建文件夹和ETL。
图15 智能ET
- ETL列表内展示ETL的名称、输入/输出、最近更新时间、上次运行时长及其他操作。可按照名称排列顺序,也可以按照时间降序排列。单击编辑就可以进行修改了。ETL和数据集一样,可以查看运行记录/另存为/移动至/删除,也可以批量移动和删除。
图16 ETL列表
- 右上角选择新建ETL,进入可视化编辑页。编辑页左侧是配置区,右侧是编辑区。先从左侧数据集内拖拽输入数据集至右侧,单击输入数据集。可以从数据集列表内筛选所需数据集,可按照所有类型快速筛选。然后单击确定进行数据的导入。
图17 新建ETL
- 确认输入数据集后,从左侧根据需求进行规则配置的拖拽连线和数据处理,最后拖拽输出数据集,并进行连线。左上角编辑名称后右上角单击保存就完成了数据处理。
图18 选择数据表图19 输出数据集
ETL运行更新时间
数据中心智能ETL中选择要设置更新的ETL并点开,选择ETL更新,有三种选择:手动、定时、勾选的数据集更新后。选择定时,可以自定义ETL运行更新的时间;选择勾选的数据集更新后,可在数据集有所更新后直接触发ETL运行,最后单击确定,确认对ETL的更新方式进行更改。
图20 数据中心

图21 ETL更新

图22 定时

父主题: 实施步骤