数据集概述 | AtomGit AI 社区帮助文档

数据集卡片

Mon, 01 Jan 0001 00:00:00 +0000

数据集卡片就像是数据集的"说明书"，详细介绍了这个数据集包含什么内容、怎么用、有什么特点等信息。就像买东西要看说明书一样，使用数据集前也要仔细阅读数据集卡片。

数据集卡片包含什么信息？

基本信息

数据集名称和版本包括数据集叫什么名字、当前是什么版本、谁创建的这个数据集、什么时候发布的。

数据集内容包括这个数据集包含什么、适合什么任务使用、有什么特殊内容、数据量有多大。

使用说明

数据格式：数据是什么格式，文件结构是怎样的，如何读取和处理，需要什么软件。

使用方法：基本的使用步骤，数据预处理方法，常见的使用场景，注意事项。

如何阅读数据集卡片？

第一步：了解基本信息

看标题和描述：数据集叫什么名字，主要包含什么内容，适合什么水平的用户。

检查要求：你的电脑配置是否满足要求，是否安装了必要的软件，是否有足够的时间和精力。

第二步：查看使用说明

数据格式：了解数据的组织方式，确认文件格式是否支持，查看数据结构的说明。

使用示例：运行提供的示例代码，理解数据的读取方式，尝试处理部分数据。

第三步：了解限制和注意事项

使用限制：有什么使用条件，有什么功能限制，有什么时间限制。

注意事项：数据质量要求，处理注意事项，常见问题解决。

数据集卡片中的重要信息

数据统计

数据量：包含多少条记录，文件大小是多少，是否适合你的需求。

数据分布：各类数据的比例，是否平衡分布，是否有偏差。

数据质量

标注质量：标注是否准确，标注是否一致，标注是否完整。

数据特点：数据是否真实。

数据是否多样
数据是否新鲜

使用许可

开源许可

可以免费使用
可以修改和分享
但要注意许可条款

商用许可

是否可以商用
是否需要付费
有什么使用限制

使用声明

数据集的使用范围
禁止的使用方式
责任和免责声明

如何选择合适的数据集？

根据需求选择

任务类型

明确你要解决什么问题
选择专门针对该任务的数据集
不要用图片数据集做文字任务

数据要求

数据量是否足够
数据质量是否满足要求
数据格式是否支持

资源限制

考虑你的硬件配置
考虑你的时间预算
考虑你的技术能力

根据评价选择

用户评分：查看其他用户的评分，阅读用户的使用体验，了解数据集的优缺点。

使用案例：看看别人是怎么用的，了解实际应用效果，学习使用技巧。

更新维护：数据集是否还在更新，问题是否及时修复，社区是否活跃。

使用数据集的建议

新手建议

从简单的开始：选择结构简单的数据集，先处理少量数据，熟悉基本操作后再深入。

多看文档：仔细阅读使用说明，查看常见问题解答，学习最佳实践。

多练习：用不同的方法处理数据，尝试不同的预处理步骤，记录使用经验。

进阶建议

理解数据：了解数据的来源和特点，分析数据的分布和规律，掌握数据质量评估方法。

优化处理：根据实际需求优化流程，提高数据处理效率，改进数据质量。

分享经验：帮助其他用户，分享使用技巧，参与社区讨论。

常见问题

数据集卡片信息不完整

可能原因包括数据集刚发布，信息还在完善；创建者没有详细填写；某些信息不适合公开。

解决方法包括查看是否有其他文档、联系数据集创建者、在评论区询问其他用户。

示例代码运行失败

可能原因包括环境配置不正确、依赖版本不匹配、数据格式不对。

解决方法包括检查环境配置、更新依赖版本、确认数据格式。

数据质量不如预期

可能原因包括数据本身有问题、标注质量不够好、数据分布不平衡。

解决方法包括检查数据质量、清理和修复数据、寻找替代数据集。

总结

数据集卡片是使用数据集的重要参考资料。学会阅读和理解数据集卡片，能帮助你选择合适的数据集（根据需求和能力选择）、正确使用数据集（按照说明操作，避免错误）、解决问题（遇到问题时能找到答案）和提高效率（少走弯路，快速上手）。

记住，好的数据集卡片就像好的说明书，能让你事半功倍。如果遇到不清楚的地方，不要犹豫，及时寻求帮助！

数据集使用指南

Mon, 01 Jan 0001 00:00:00 +0000

AtomGit AI 社区提供了全面的数据集管理功能，帮助您轻松创建、分享和使用高质量数据集。本指南将介绍数据集相关的主要操作。

数据集创建

创建新数据集

登录您的 AtomGit AI 账号
进入"数据集" > “创建数据集”
填写数据集信息：
- 数据集ID
- 数据集名称
- 选择LICENSE模板
- 选择是否公开
选择LICENSE模板：
- PyTorchCreative Commons Attribution Non Commercial 3.0
- Creative Commons Attribution Non Commercial No IDerivatives 3.0
- Creative Commons Attribution Non Commercial Share Alike 2.0
- Creative Commons Attribution Non Commercial Share Alike 3.0
- H Research License
- Open Model, Data & Weights License Agreement
- Unknown
点击"创建数据集"完成

数据集配置

创建 dataset-config.yaml 文件来定义数据集结构：

dataset-name: my-awesome-dataset
version: 1.0.0
type: image-classification
format:
 - jpg
 - png
structure:
 train: train/
 validation: val/
 test: test/
labels:
 path: labels.csv
 format: csv

数据集搜索

基本搜索

在搜索框输入关键词
使用过滤条件：
- 综合排序
- 最受欢迎
- 最多下载
- 最新创建
- 最近更新

高级搜索

支持以下搜索语法：

type:image - 按数据类型搜索
size:>1GB - 按数据集大小搜索
license:MIT - 按许可证搜索
language:chinese - 按数据集语言搜索

数据集下载

进入数据集详情页
点击"克隆"按钮
复制项目地址
克隆到本地
使用 HTTPS 协议时，请配置并使用个人访问令牌替代登录密码进行克隆、推送等操作
使用 SSH 协议时，请在本地生成 SSH 公钥进行克隆、推送等操作

命令行下载

# 安装 GitCode CLI
pip install gitcode

# 下载完整数据集
gitcode download-dataset username/dataset-name

# 下载特定版本
gitcode download-dataset username/dataset-name --version v1.0.0

# 下载部分数据
gitcode download-dataset username/dataset-name --split train

数据集使用

openMind

# 需要先安装openmind-hub
pip install openmind-hub

# 设置环境变量：
import os
os.environ["OPENMIND_HUB_ENDPOINT"] = "https://hub.gitcode.com"

# 下载数据集
from openmind_hub import snapshot_download
或
from openmind.integrations.datasets import load_dataset token = "***" load_dataset(path="lejurobot/LET_Base_Dataset", streaming=False)

# 在配置并使用个人访问令牌申请访问令牌
token = ""

# 如果没有指定local_dir，请在~/.cache/openmind 下进行查看
snapshot_download("BAAI/Infinity-Instruct", local_dir = './Infinity-Instruct',token = token )

数据集版本控制

# 加载特定版本
dataset_v1 = load_dataset("username/dataset-name"， version="1.0.0")

# 查看版本历史
dataset.version_history()

# 创建新版本
dataset.create_version("1.1.0"， description="Added new samples")

最佳实践

数据质量控制
- 进行数据清洗
- 检查数据完整性
- 标注质量验证
数据集文档
- 详细的数据描述
- 数据收集方法
- 使用限制说明
- 隐私考虑
版本管理
- 语义化版本号
- 更新日志
- 变更说明
数据安全
- 数据脱敏
- 访问权限控制
- 合规性检查

常见问题

Q: 如何处理大型数据集？ A: 可以使用流式加载或分片下载功能，避免一次性加载全部数据。

Q: 支持哪些数据格式？ A: 支持常见的数据格式，如 CSV、JSON、图片、音频等，详见文档。

Q: 如何贡献数据？ A: 您可以通过数据集更新功能提交新数据，或创建数据集分支进行协作。

Q: 数据集的存储限制是多少？ A: 免费账户可以创建最大 10GB 的数据集，高级账户有更大的存储限制。