中软国际数据治理专业服务解决方案实践

中软国际数据治理专业服务解决方案实践

    亿级数据之过滤器布隆过滤器 更多内容
  • 在看板项目中管理工作项

    系统默认过滤器过滤:单击“过滤”后,选择默认过滤条件过滤: 图2 系统默认过滤器 个人过滤器过滤:可供当前用户长期使用。 创建个人过滤器 单击视图右上方“过滤”后,单击个人过滤器处的“创建”,显示“创建过滤器”。 设置过滤器参数并保存过滤器,即个人过滤器。 临时过滤 在过滤器页面可

    来自:帮助中心

    查看更多 →

  • HBase数据读写样例程序

    API读取HBase表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据 删除HBase表数据 删除HBase二级索引 删除HBase表 创建Phoenix表 向Phoenix表中插入数据 读取Phoenix表数据 配置HBase应用输出日志 父主题:

    来自:帮助中心

    查看更多 →

  • 开发仪表板

    返回仪表板管理页面,单击仪表板名称,进入仪表板编辑页面。 (可选)单击“+过滤器”,可设置过滤条件。 图4 设置过滤条件 名称:过滤器的名称。 字段:选择过滤字段。 字段条件:通过设置“比较符”、“值”可设置过滤条件,“展示文本”为界面展示的滤器选项文本。 单击页面上方的,保存设置。 保存成功后,单击,运行仪表板。

    来自:帮助中心

    查看更多 →

  • 典型场景:从SFTP服务器导入数据到HBase

    Sftp公钥 Sftp 服务器 公钥。 OdDt/yn...etM 配置多个S FTP服务器 ,多个服务器指定目录的数据将导入到HBase。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径,如

    来自:帮助中心

    查看更多 →

  • 使用Loader从SFTP服务器导入数据到HBase

    Sftp公钥 Sftp服务器公钥。 OdDt/yn...etM 配置多个SFTP服务器,多个服务器指定目录的数据将导入到HBase。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径,如

    来自:帮助中心

    查看更多 →

  • 配置HDFS源端参数

    如果配置了时间宏变量,通过 DataArts Studio 数据开发调度 CDM 迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 /user/cdm/ 文件格式 传输数据时所用的文件格式,可选择以下文件格式: CS V格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。

    来自:帮助中心

    查看更多 →

  • 配置HDFS源端参数

    “列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度C

    来自:帮助中心

    查看更多 →

  • 配置HDFS源端参数

    如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 /user/cdm/ 文件格式 传输数据时所用的文件格式,可选择以下文件格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。

    来自:帮助中心

    查看更多 →

  • 权限管理

    配置结构化 √ × √ 开启快速分析 √ × √ 关闭快速分析 √ × √ 配置分词 √ × √ 查询过滤器 √ √ √ 禁用过滤器 √ × √ 启用过滤器 √ × √ 删除过滤器 √ × √ 查询告警规则 √ √ √ 创建告警规则 √ × √ 修改告警规则 √ × √ 删除告警规则

    来自:帮助中心

    查看更多 →

  • 成本管理

    汇总维度:从下拉框中选择“分拆项”。Live的费用由各个直播 域名 产生,在“成本分析”界面,直播域名被称为“分拆项”。 过滤器 > 产品类型:选择“视频直播 Live”。 过滤器 > 分拆项:在下拉框中使用“视频直播”过滤出全量直播域名。 图1 成本分析 如需导出成本明细,请参考获取分拆明细操作。

    来自:帮助中心

    查看更多 →

  • Hive输入

    类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名 配置Hive表名。 仅支持一个Hive表。 String 是 无 分区过滤器 配置分区过滤器可以导出指定分区数据,默认为空,导出整个表数据。 例如导出分区字段locale

    来自:帮助中心

    查看更多 →

  • Spark输入

    默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default Spark表名 配置SparkSQL表名。 仅支持一个SparkSQL表。 String 是 无 分区过滤器 配置分区过滤器可以导出指定分区数据,默认为空,导出整个表数据。 例如导出分区字

    来自:帮助中心

    查看更多 →

  • 使用Loader从FTP服务器导入数据到HBase

    式,不填写时使用系统默认格式UTF-8。 UTF-8 配置多个FTP服务器,多个服务器指定目录的数据将导入到HBase。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 FTP服务器中源文件的输入路径,如果

    来自:帮助中心

    查看更多 →

  • 仪表板

    三大块。数据集面板右上角单击切换数据集,可一键轻松切换数据集,无需重建卡片。单击数据集预览,可针对数据集内30行数据进行浏览。 单击搜索字段,针对数据集字段较多的情况,可快速找到指定字段,新建字段,可与数据集内一样新建计算字段和分组字段。蓝色是数据集内维度字段,绿色是数据集内数值字段,按需进行单个拖拽或批量拖拽即可。

    来自:帮助中心

    查看更多 →

  • HBase数据读写样例程序

    API读取HBase表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据 删除HBase表数据 删除HBase二级索引 删除HBase表 创建Phoenix表 向Phoenix表中插入数据 读取Phoenix表数据 配置HBase应用输出日志 父主题:

    来自:帮助中心

    查看更多 →

  • 文本

    过滤:如果您的数据量较大,可以启用过滤器功能,将需要的某一类或者某几类数据数据集中过滤出来。过滤器可以过滤字符类、数值类和日期类的数据。 过滤设置:单击过滤内的需要设置过滤字段上的,进入设置过滤器页面。 过滤字段选择维度 非时间字段 表1 过滤器参数 参数 参数说明 数据集 构造大屏组件所选的数据集。

    来自:帮助中心

    查看更多 →

  • 使用Loader从SFTP服务器导入数据到HDFS/OBS

    使用Loader从SFTP服务器导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取SFTP服务

    来自:帮助中心

    查看更多 →

  • 基于数仓配置图表

    (可选)单击页面右侧的“显示设置”,可以调整标题和图表的显示。 (可选)在页面左侧的“过滤器”,对数据进行过滤,如图2所示。 图2 过滤器 (可选)仅折线图支持:单击页面左侧的“数据系列”,可以指定图表展示的数据列或者动态展示TopN的数据列。 在编辑过程中可以单击“预览”,查看图表效果,配置完成后单击“保存”。

    来自:帮助中心

    查看更多 →

  • HBase数据读写示例程序

    API读取HBase表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据 删除HBase表数据 删除HBase二级索引 删除HBase表 创建Phoenix表 向Phoenix表中写入数据 读取Phoenix表数据 配置HBase应用输出运行日志 父主题:

    来自:帮助中心

    查看更多 →

  • HBase数据读写样例程序

    API读取HBase表数据 使用Scan API读取HBase表数据 使用Filter过滤器读取HBase表数据 删除HBase表数据 删除HBase二级索引 删除HBase表 创建Phoenix表 向Phoenix表中插入数据 读取Phoenix表数据 配置HBase应用输出运行日志 父主题:

    来自:帮助中心

    查看更多 →

  • 配额和限制

    成本分析 过滤器中每个选项的可选择数量上限 50 其中“成本分组”“成本标签”的一级选项最多可勾选20个,二级选项最多可同时勾选50个。 预算管理 每个账户的预算总数 100 每个预算的最大消息接收人数量 10 预算名称中支持的字符 中文、字母、数字、中划线和下划线 过滤器中每个选项的可选择数量上限

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了