NanoStories：小型语言模型数据，基于规则生成的5000万篇故事

1. 组合场景与词表生成故事

每行包含一篇完整故事，全部故事分布在50个Parquet文件中，每个文件收录100万篇。Parquet是一种按列存储的文件格式。每行只有一个text字段，用于保存英文故事正文，可供使用全文作为输入的训练实验调用。

故事通过依次串联五种情节的场景生成，包括寻找物品、分享零食等。姓名、性格、动物等从固定列表中选取，约每三篇故事中有一篇会添加背景描写。下表列出了数据集介绍文档中生成器所用列表的大小。

表：生成器使用的主要列表

条件：以数据集卡片所列的规则生成器列表为准

单位：个

2. 从训练到数据处理测试的用途

介绍文档提出，该数据集可用于从零训练小型语言模型，或与其他合成儿童故事语料库进行比较。还可大规模测试将句子拆分为词元的工具，以及读取数据并将其送入训练的数据处理流程。

开发者可以加载公开的数据集，作为此类实验的输入数据。发布页面提供的加载示例如下。

from datasets import load_dataset

ds = load_dataset("AuroraAI-Research/NanoStories")

文件在磁盘上约占4.19GB。查看器显示的内存数据大小约为28.6GB，大于存储文件的大小。选择数据读取方式时，需要同时考虑下载文件的大小与内存中的大小。

3. 用手机CPU生成5000万篇故事

据介绍文档，在手机CPU的单工作进程配置下，约9.5分钟便生成了5000万篇故事。文档以这一数据说明，可以用规则而非神经网络模型生成大规模数据。

文档说明，只要作为随机选择初始值的种子和每次生成的批次大小相同，即使重复运行或改变工作进程数量，也会得到相同结果。这种可复现性有助于基于相同生成条件的数据重复实验。

4. 生成负担降低，多样性成为实验变量

规则生成无需运行神经网络模型，就能构建汇集大量文本的语料库，但代价是反复使用五种情节和固定词表。介绍文档声明，数据未经语法检查或人工审核，并将衡量一般语言能力、真实文章质量，以及把故事寓意当作事实或教育权威依据的用途排除在适用范围之外。

因此，这些数据的使用重点在于训练、数据处理实验以及生成规则的影响。正如介绍文档所建议的，它可用于研究数据多样性和词汇对小型模型训练的影响。

5. 查看公开文件与许可证

数据集采用Apache-2.0许可证。仓库提交记录显示，2026年10月23日进行了数据上传以及介绍文档的创建与修改。开发者可在数据集页面查看组成和使用示例，并通过提交记录了解公开文件与文档的变更。

NanoStories的价值在于，为小型模型训练和数据处理实验提供基于规则生成的大规模故事数据，作为共同的起点。