- 戳上方蓝字�?牛皮糖不吹牛*”关注我
大家好，我是牛皮糖！大模型微调数据集如何收集？这个开源工具一键帮你搞定，EasyDataSet,
Easy Dataset 的核心优�?
智能文档处理：Easy Dataset 支持上传 Markdown 文件，并能自动将其分割成有意义的片段。它能够快速地将冗长的文本分解成易于管理的部分，为后续的处理打下坚实的基础�?
智能问题生成：它能够智能地识别文本中的关键信息，并据此生成一系列有针对性的问题。这些问题不仅覆盖了文本的核心内容，还能从不同的角度进行拓展，为模型的训练提供了丰富的素材�?
答案生成：借助 LLM API，Easy Dataset 可以为每个问题生成全面的答案。这些答案不仅准确，而且具有一定的深度和广度，能够满足模型微调的需求�?
灵活编辑：在数据集创建的任何阶段，用户都可以对问题、答案和数据集进行编辑�?
多种导出格式：Easy Dataset 支持以多种格式（�?Alpaca、ShareGPT）和文件类型（如 JSON、JSONL）导出数据集�?
*广泛的模型支�?：它兼容所有遵�?OpenAI 格式�?LLM API。无论是 OpenAI 自家的模型，还是其他符合该标准的模型，都能与 Easy Dataset 无缝对接�?
用户友好界面：为技术和非技术用户设计的直观 UI �?Easy Dataset 的一大特色。无论是具备深厚技术背景的开发人员，还是对技术不太熟悉的普通用户，都能轻松上手，快速掌握其操作流程�?
*自定义系统提�?：用户可以添加自定义系统提示，以引导模型的响应。通过这种方式，我们能够更好地控制模型的输出方向，使其更符合特定领域的应用场景和需求�?
使用教程
如果您想在本地运�?Easy Dataset，可以使�?NPM 安装或使用本�?Dockerfile 构建。以下是使用 NPM 安装的步骤：
- 克隆仓库：git clone https://github.com/ConardLi/easy-dataset.git ，然后进入项目目录：cd easy-dataset�?
- 安装依赖：npm install�?
- 启动开发服务器：npm run build ，再运行 npm run start�?
- 最后，在浏览器中访�?http://localhost:1717 ，即可开始使�?Easy Dataset�?
注意事项
在使�?Easy Dataset 时，需要注意以下几点：
�?确保您的网络环境稳定，以便顺利下载和运行项目�?
�?在处理大量数据时，可能需要一定的运行时间，请耐心等待�?
�?如果遇到任何问题，可以参考项目的文档或在 GitHub 上提�?issue 获取帮助�?
如果您对 Easy Dataset 感兴趣，欢迎访问其�?
GitHub 仓库：https://github.com/ConardLi/easy-dataset�?
·················END·················
推荐阅读
�? Github 资料项目合集�? 4�?16G 就能 RAGFlow Quick start 快速入门• github 7.8k star 将小爱音箱接�?ChatGPT 和豆包，改造成你的专属语音助手。