如何快速上手openeuler/docs-model-dataset？3分钟完成文档数据集构建

如何快速上手openeuler/docs-model-dataset3分钟完成文档数据集构建【免费下载链接】docs-model-datasetTo develop dataset for openEuler documentation.项目地址: https://gitcode.com/openeuler/docs-model-dataset前往项目官网免费下载https://ar.openeuler.org/ar/openeuler/docs-model-dataset是一款基于Gitee openEuler社区PR数据构建的文档数据集工具能够帮助用户快速获取和处理文档修改数据生成可用于文档编辑优化模型训练的数据集。它具备灵活可配置的过滤系统支持快速扩展新规则让文档数据集构建过程变得简单高效。 项目核心优势该项目拥有多项强大特性让文档数据集构建更轻松多规则过滤采用策略模式设计可通过配置文件灵活启用或禁用过滤规则详细追踪清晰记录被过滤数据的原因便于分析和优化易扩展支持快速添加自定义过滤器满足个性化需求AI智能评估基于大模型的文档编辑评估与标签分类提升数据集质量动态Few-shot智能示例选择探索利用数据集优化大模型评估效果的方法BERT训练支持提供完整的文本分类模型训练流程验证数据集有效性 项目架构概览项目结构清晰各模块分工明确方便用户理解和使用docs-model-dataset/ ├── crawler/ # PR数据爬取模块 ├── filters/ # 数据过滤规则引擎 ├── processors/ # 数据处理器 ├── llm_label/ # LLM评估与标签分类 ├── llm_few_shot/ # Few-shot验证流水线--数据集使用场景探索 ├── bert_train/ # BERT模型训练--基于Bert的数据标签验证 ├── utils/ # 工具函数 ├── tests/ # 测试用例 ├── data/ # 数据存储目录 ├── logs/ # 日志文件 ├── main.py # 主入口程序 ├── config.py # 全局配置 └── requirements.txt # 依赖列表核心模块功能速览模块功能描述主要用途crawlerPR数据获取从Gitee API获取PR、commits、files等数据filters数据过滤基于规则过滤无效或低质量变更processors数据处理变更单元分割、格式化处理llm_label智能标签大模型评估文档编辑质量并分类llm_few_shot验证流水线向量化智能Few-shot验证bert_train模型训练BERT文本分类器训练和评估⚡ 3分钟快速上手步骤1️⃣ 环境准备首先克隆项目仓库到本地git clone https://gitcode.com/openeuler/docs-model-dataset cd docs-model-dataset然后安装项目所需依赖pip install -r requirements.txt2️⃣ 下载PR数据使用以下命令下载PR数据这里以获取开放状态的PR为例python main.py download --state open --per_page 50 --max_pages 23️⃣ 处理数据应用过滤规则下载完成后对原始数据进行处理应用过滤规则python main.py process \ --input data/raw/prs_open.json \ --output data/processed/prs_open_filtered.json \ --rejected data/processed/prs_open_filtered_rejected.json4️⃣ 一步执行下载 处理懒人必备如果想更快捷可以直接使用deal命令一步完成下载和处理python main.py deal --state open --per_page 100 --max_pages 0 高级功能LLM智能评估验证项目提供了一套完整的动态few-shot验证管线使用数据集样本作为few-shot提示辅助大模型对pull request修改质量进行判断。构建向量数据库python llm_few_shot/build_embedding_database.py \ --input-file data/label_data/auto_pass.jsonl \ --output-dir llm_few_shot/data/label_embedding运行验证流水线一键启动cd llm_few_shot ./run.sh BERT模型训练支持基于BERT的完整文本分类训练用于验证数据集标签是否具有可分类性。一键训练评估cd bert_train ./run_train_eval.sh⚙️ 配置说明在config.py中可以配置过滤器根据需求调整过滤规则FILTER_CONFIG { file_extension: { allowed_extensions: [.md] # 只允许.md文件 }, type_base: { allowed_types: [modify] # 只允许修改类型 }, content_length: { min_length: 6 # 最小字符数 } # 更多过滤规则可根据需要配置 } 输出数据格式基础过滤后的数据格式{ pr_number: 123, file_path: docs/example.md, hunk_header: -10,7 10,7 , add_content: 新的内容, remove_content: 旧的内容, unit_id: PR123_docs_example_md_unit_0, context_before: 上下文内容, context_after: 上下文内容, change_type: modify }AI评估后的数据格式会在基础格式上增加评估相关字段如is_valid是否具备训练价值、label_id标签编号、label_name标签名称等。 文档编辑标签体系系统定义了22个文档编辑优化标签涵盖拼写、超链接、空格、标点、格式、标记与代码、文件与路径、表达、结构、标题、信息等多个类别的文档质量问题帮助用户更精准地对文档修改进行分类和评估。通过以上简单步骤你就能快速上手openeuler/docs-model-dataset轻松完成文档数据集的构建。无论是用于模型训练还是文档质量评估这款工具都能为你提供有力支持【免费下载链接】docs-model-datasetTo develop dataset for openEuler documentation.项目地址: https://gitcode.com/openeuler/docs-model-dataset创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考