DataArtsFabric DataFrame概述

场景介绍

本章节提供了类Pandas的Python DataFrame SDK，方便用户使用Python编写数据处理作业；同时利用DataArtsFabric SQL内核高效的计算能力，为数据科学家、AI工程师等提供了易用、高效的数据处理能力。

本特性基于Ibis Python DataFrame开源框架实现，将Ibis前端框架与DataArtsFabric SQL引擎对接。用户可基于熟悉的Ibis DataFrame API编写数据处理脚本，Ibis框架将Python API翻译为DataArtsFabric SQL引擎可执行的SQL语句并下发，从而实现计算逻辑在DataArtsFabric SQL引擎的高效处理。

什么是DataFrame

DataFrame是一种二维表格型的数据结构，类似于Excel表或关系型数据库中的表，支持行和列标签。

它的核心特点包括：

• 行列结构：数据以行和列的形式组织，每列可以有不同的数据类型，例如整数、字符串、浮点数等。
• 标签支持：行和列通常有标签（索引），方便将数据进行筛选、操作和分析。
• 功能丰富：支持数据清洗、转换、聚合、合并等操作，是数据分析和科学计算的常用工具。