# 预训练文本
以大规模原始文本语料为核心，支持直接用于大模型的无监督预训练，或通过平台进行**数据精炼**加工，转化为高质量的文本生成SFT数据集。
#### 约束限制
- 从OBS导入：单个文件/压缩包大小不超过20GB；多个文件场景，文件数量不限制，总文件大小不超过20GB。
- 本地导入：单个文件大小不超过1GB，文件数量最多20个。
- 文件编码：所有jsonl格式文件必须采用**UTF-8**编码。
 
#### 格式说明
**文件格式**：jsonl
**格式说明** ：jsonl是一种结构化的轻量级文本文件格式。其核心规则为**文件中的每一行都必须是一个独立、合法且完整的JSON对象**。每行的JSON对象中必须包含text字段，用于承载具体的预训练文本语料。其余自定义或拓展字段不作严格限制。
**示例如下**：
```
{"text": "《白鹿原》，是中国著名作家陈忠实所写的一部长篇小说。《白鹿原》讲述了一个陕西农村家族几代人的兴衰历程。小说通过白、鹿两大家族的恩怨情仇，展现了中国社会从清末到新中国成立的历史变迁。"}
{"text": "《平凡的世界》，是中国著名作家路遥所写的一部长篇小说。《平凡的世界》讲述了一个普通农民孙少安和他的弟弟孙少平的生活故事。他们面对生活的艰辛，始终不屈不挠，努力追求自己的梦想。"}
{"text": "《红高粱家族》，是中国著名作家莫言所写的一部长篇小说。《红高粱家族》讲述了一个山东高密东北乡的家族故事。小说通过家族成员的爱恨情仇，展现了中国农村在20世纪初的动荡岁月。"}
{"text": "《边城》，是中国著名作家沈从文所写的一部中篇小说。《边城》讲述了一个湘西小镇上的人们的生活。小说通过翠翠和傩送的爱情故事，展现了人与自然的和谐以及人性的纯真美好。"}
{"text": "《围城》，是中国著名作家钱钟书所写的一部长篇小说。《围城》讲述了一个知识分子方鸿渐的婚姻和事业经历。小说通过对方鸿渐及其周围人物的描写，揭示了当时社会的种种矛盾和人性的复杂。"}
```