中软国际数据治理专业服务解决方案实践

中软国际数据治理专业服务解决方案实践

    亿级数据之过滤器布隆过滤器 更多内容
  • 创建指标

    别。 忽略报表过滤器 当报表上存在相同列的过滤器时。 如果勾选,会忽略报表级别的过滤器。如果不勾选,该过滤器会跟报表级别的过滤器取交集。 时间维度 默认时间过滤是专门给指标配置默认时间的过滤器,用户期望在问到某个指标时有一个默认时间自动带出来。设置此参数,对应的数据集必须含有时间维度,否则不可设置。

    来自:帮助中心

    查看更多 →

  • 源端为对象存储

    fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式,目前支持以下文件格式: CS V_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件

    来自:帮助中心

    查看更多 →

  • 源端为FTP/SFTP

    fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式,目前支持以下文件格式: CSV_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件

    来自:帮助中心

    查看更多 →

  • 初始化难例上传模块

    初始化难例上传模块 构造一个难例过滤器。 接口调用 hilens.HardSample(threshold_one, threshold_two, filter_type) 参数说明 表1 参数说明 参数名 是否必选 参数类型 描述 threshold_one 是 float 阈

    来自:帮助中心

    查看更多 →

  • 典型场景:从SFTP服务器导入数据到Hive

    一个源文件可分割至多个map,数据保存至输出目录时保存的文件数与map数量相同,文件名格式为“import_part_xxxx”,“xxxx”为系统生成的随机数,具有唯一性。 FILE 过滤器类型 选择文件过滤的条件,与“路径过滤器”、“文件过滤器”配合使用。 选择“WILDCARD”,表示使用通配符过滤。

    来自:帮助中心

    查看更多 →

  • 使用Loader从SFTP服务器导入数据到Hive

    一个源文件可分割至多个map,数据保存至输出目录时保存的文件数与map数量相同,文件名格式为“import_part_xxxx”,“xxxx”为系统生成的随机数,具有唯一性。 FILE 过滤器类型 选择文件过滤的条件,与“路径过滤器”、“文件过滤器”配合使用。 选择“WILDCARD”,表示使用通配符过滤。

    来自:帮助中心

    查看更多 →

  • 源端为HDFS

    filterType 否 枚举 选择过滤器类型: WILDCARD:输入通配符作为过滤文件,满足过滤条件的路径或文件会被传输。 TIME:时间过滤器,当文件的修改时间晚于输入的时间时,该文件才会被传输。 fromJobConfig.pathFilter 否 String 路径过滤器,过滤类型为通配符

    来自:帮助中心

    查看更多 →

  • 源端为FTP/SFTP

    fromJobConfig.inputFormat 是 枚举 传输数据时所用的文件格式,目前支持以下文件格式: CSV_FILE:CSV格式,用于迁移文件到数据表的场景。 JSON_FILE:JSON格式,一般都是用于迁移文件到数据表的场景。 BINARY_FILE:二进制格式,不解析文件

    来自:帮助中心

    查看更多 →

  • 配置资源权限

    Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“资源权限配置”,进入资源权限配置页面。 如果报错“获取资源服务失败,由于[ CDM 返回为空:[404 NOT FOUND]]”,请在管理中心参考 MRS Ranger数据连接参数说明,排查Ranger数据连接的Ran

    来自:帮助中心

    查看更多 →

  • 样例代码说明

    样例代码说明 配置参数 创建Configuration 创建Connection 创建表 删除表 修改表 插入数据 删除数据 使用Get读取数据 使用Scan读取数据 使用过滤器Filter 父主题: 开发HBase应用

    来自:帮助中心

    查看更多 →

  • 查看LTS审计事件

    batchActionLogPailToOBS 创建指标过滤器 filter createLogFilter 修改指标过滤器 filter updateLogFilter 删除指标过滤器 filter deleteLogFilter 修改指标过滤器状态 filter updateLogFilterStatus

    来自:帮助中心

    查看更多 →

  • 源端为HDFS

    filterType 否 枚举 选择过滤器类型: WILDCARD:输入通配符作为过滤文件,满足过滤条件的路径或文件会被传输。 TIME:时间过滤器,当文件的修改时间晚于输入的时间时,该文件才会被传输。 fromJobConfig.pathFilter 否 String 路径过滤器,过滤类型为通配符

    来自:帮助中心

    查看更多 →

  • 事件巡检

    服务,基于应用历史数据的平均RT、错误率等关键指标看护服务质量,全局分析问题。 功能说明 事件巡检基于应用的历史数据,形成动态上界,以比对服务近期时间的数据是否有异常。 获取基础数据时间范围如下: 基于应用3小时内的历史数据,形成动态上界,以比对近10分钟的数据是否有异常。支持如下事件类型:

    来自:帮助中心

    查看更多 →

  • 搜索日志

    在“日志流”页面左侧过滤器中,以不同的视角(云日志视角)及对应的参数对日志进行过滤。并按照界面提示设置日志查询条件。 单击“查询”,完成过滤器设置。 搜索原始日志 登录AOM 2.0控制台。 在左侧导航栏中选择“ 日志分析 > 日志流”。 已参考设置过滤器完成过滤器设置。 在“原始日志”页签右上角选择时间范围。

    来自:帮助中心

    查看更多 →

  • 典型场景:从FTP服务器导入数据到HBase

    式,不填写时使用系统默认格式UTF-8。 UTF-8 配置多个 FTP服务器 ,多个 服务器 指定目录的数据将导入到HBase。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 FTP服务器中源文件的输入路径,如果

    来自:帮助中心

    查看更多 →

  • 开发HBase应用

    修改HBase表 插入HBase数据 删除HBase数据 使用Get读取HBase数据 使用Scan读取HBase数据 使用HBase过滤器Filter 添加HBase二级索引 启用/禁用HBase二级索引 查询HBase二级索引列表 使用HBase二级索引读取数据 删除HBase二级索引

    来自:帮助中心

    查看更多 →

  • Hive输入

    类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名 配置Hive表名。 仅支持一个Hive表。 String 是 无 分区过滤器 配置分区过滤器可以导出指定分区数据,默认为空,导出整个表数据。 例如导出分区字段locale

    来自:帮助中心

    查看更多 →

  • Spark输入

    默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default Spark表名 配置SparkSQL表名。 仅支持一个SparkSQL表。 String 是 无 分区过滤器 配置分区过滤器可以导出指定分区数据,默认为空,导出整个表数据。 例如导出分区字

    来自:帮助中心

    查看更多 →

  • 查看成本分析

    过去半年:不包含当前月在内的过去6个月的成本数据。 过去1年:不包含当前月在内的过去12个月的成本数据。 当年至今:当年至今的成本数据。 当前月:如果存在足够的历史数据,则会展示当前月已生产的成本数据和当前月未来时间可能产生的成本数据。 未来1个月:如果存在足够的历史数据,则会展示下个月的预测数据。 未来3个月

    来自:帮助中心

    查看更多 →

  • 开发仪表板

    返回仪表板管理页面,单击仪表板名称,进入仪表板编辑页面。 (可选)单击“+过滤器”,可设置过滤条件。 图4 设置过滤条件 名称:过滤器的名称。 字段:选择过滤字段。 字段条件:通过设置“比较符”、“值”可设置过滤条件,“展示文本”为界面展示的滤器选项文本。 单击页面上方的,保存设置。 保存成功后,单击,运行仪表板。

    来自:帮助中心

    查看更多 →

  • 使用Loader从SFTP服务器导入数据到HBase

    Sftp公钥 Sftp服务器公钥。 OdDt/yn...etM 配置多个SFTP服务器,多个服务器指定目录的数据将导入到HBase。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径,如

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了