中软国际数据治理专业服务解决方案实践

使用数据工程构建NLP大模型数据集 NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集，该数据集格式要求请参见文本类数据集格式要求。 构建NLP大模型所需数据量 使用数据工程构建盘古NLP大模型数据集进行模型训练时，所需数据量见表1。 表1 构建NLP大模型所需数据量

查看更多 →

ALM-44000 Presto服务不可用 告警解释 系统每60秒周期性检测Presto服务状态。当Presto服务不可用时产生该告警。 当Presto服务恢复时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 44000 紧急 是 告警参数 参数名称 参数含义 ServiceName

查看更多 →

Manager 解决反复扩缩容导致 MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack，以及日志文件太大不滚动问题 补丁兼容关系 MRS 2.0.1.3补丁包中包含MRS

查看更多 →

parse_presto_data_size(string) → decimal(38) 将带单位的格式化的值转为数字，值可以是小数，如下所示： SELECT parse_presto_data_size('1B'); -- 1 SELECT parse_presto_data_size('1kB');

查看更多 →

parse_presto_data_size(string) → decimal(38) 将带单位的格式化的值转为数字，值可以是小数，如下所示： SELECT parse_presto_data_size('1B'); -- 1 SELECT parse_presto_data_size('1kB');

查看更多 →

ALM-45325 Presto服务不可用（2.x及以前版本） 告警解释 系统每60秒周期性检测Presto服务状态。当Presto服务不可用时产生该告警。 当Presto服务恢复时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45325 紧急 是 告警参数 参数名称

查看更多 →

ALM-45325 Presto服务不可用 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每60秒周期性检测Presto服务状态。当Presto服务不可用时产生该告警；当Presto服务恢复时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45325 紧急

查看更多 →

at com.facebook.presto.jdbc.PrestoStatement.internalExecute(PrestoStatement.java:274) at com.facebook.presto.jdbc.PrestoStatement

查看更多 →

客户端拼接出的HTTP的principal与Kerberos数据库中的不一致（报错1）或获取的token无法链接Presto。 在集群上执行cat /etc/hosts，将Presto coordinator的IP和hostname加入当前节点的/etc/hosts中。 父主题： Presto应用开发常见问题

查看更多 →

Hive和Pig这样的项目使用Tez而不是MapReduce作为其数据处理的骨干，那么将会显著提升它们的响应时间，Tez构建在YARN之上，能够不需要做任何改动地运行MR任务。 商用 Tez简介 4 MRS支持Presto HA能力 MRS支持为大规格的集群默认安装Presto多实例，即一个Core/Task节

查看更多 →

alluxio://<Alluxio的节点名称>:19998/output <hadoop版本号>请根据实际情况替换。 <mrs集群版本号>替换为MRS的大版本号，如MRS 1.9.2版本集群此处为mrs-1.9.0。 <Alluxio的节点名称>:19998，请根据实际情况替换为Alluxio

查看更多 →

处理步骤 在Manager页面查找work的JVM参数（xmx）。 图2 Presto JVM参数配置 将xmx后面的1024改成2048，然后保存配置。 重启Presto服务，重新尝试查询。 父主题： 使用Presto

查看更多 →

ootstrap/presto/presto -install.sh，其中安装dualroles时，presto-install.sh脚本参数为dualroles , 安装worker时，presto-install.sh脚本参数为worker。根据Presto使用习惯，建议您在Active

查看更多 →

使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 构建科学计算大模型训练数据要求 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别

查看更多 →

ALM-44004 Presto Coordinator资源组排队任务超过阈值（2.x及以前版本） 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标，当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置（将“基础配置”切换为“全部配置”）

查看更多 →

如图6所示，选择开发场景为“大屏”，单击右侧区域的“开发”，进入到配置的AppCube大屏开发环境。 图6 进入大屏开发环境 如果使用系统默认提供开发环境，进入到默认环境的业务大屏。 如果使用配置的开发环境，进入到配置的开发地址，配置的地址不是直接进入业务大屏，参见下图进入业务大屏。 如图7所示，单击“导入项目包”。

查看更多 →

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

查看更多 →

ALM-44004 Presto Coordinator资源组排队任务超过阈值 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标，当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置（将“基础配置”切换为“全部配置”）

查看更多 →

大屏 新建大屏 更新大屏 获取大屏组件列表 获取大屏指定组件数据 批量发布大屏 批量删除大屏 批量下线大屏

查看更多 →

在Windows中调测Presto应用开发 申请一台Windows的E CS 访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下： 在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。 在弹性云服

查看更多 →

Presto查询Kudu表时系统报错找不到表 用户问题 使用Presto查询Kudu表报错。 问题现象 使用Presto查询Kudu表，报表找不到的错误： 后台报错： 原因分析 在实际的运行节点（worker实例所在节点）没有Kudu相关配置。 处理步骤 在集群Presto所有的

查看更多 →