新手必看5分钟上手Dromedary聊天机器人本地搭建智能对话系统教程【免费下载链接】DromedaryDromedary: towards helpful, ethical and reliable LLMs.项目地址: https://gitcode.com/gh_mirrors/dr/DromedaryDromedary是一款致力于打造有帮助、符合伦理且可靠的大型语言模型(LLM)通过简单几步即可在本地搭建属于自己的智能对话系统。本教程将带你快速掌握从环境准备到启动聊天机器人的全过程让AI助手触手可及。一、准备工作快速搭建运行环境1.1 克隆项目代码库首先需要获取Dromedary的源代码在终端中执行以下命令git clone https://gitcode.com/gh_mirrors/dr/Dromedary cd Dromedary1.2 安装依赖包进入项目目录后通过requirements.txt安装必要的依赖组件。确保你的环境已安装Python 3.8执行pip install -r inference/requirements.txt该文件包含了运行聊天机器人所需的核心依赖如transformers、accelerate和gradio等。二、了解Dromedary的工作原理Dromedary采用创新的自对齐技术通过四个关键步骤构建可靠的AI助手Dromedary自对齐流程展示了从种子提示到最终模型的构建过程仅需不到300行人工标注主题引导的自指令生成使用195个种子提示和7条规则生成36万个合成指令原则驱动的自对齐基于16条AI助手原则和5个上下文学习示例生成26万个对齐响应原则雕刻通过修剪原则和示例后微调原始模型详细克隆优化模型以产生深入且详细的响应三、启动聊天机器人的两种方式3.1 使用预配置脚本推荐项目提供了便捷的启动脚本位于inference/scripts/目录下根据你的硬件配置选择合适的脚本对于2个GPU的配置bash inference/scripts/demo_dromedary_stream_2shards.sh对于8个GPU的配置bash inference/scripts/demo_dromedary_stream_8shards.sh3.2 手动运行Python脚本如果需要自定义参数可以直接运行聊天机器人主程序python inference/run_stream_chatbot_demo.py \ --ckpt_dir /path/to/llama-2-70b \ --tokenizer_path /path/to/tokenizer \ --meta_prompt_file prompts/inference_prompts/dromedary_standard_prompt_distill.txt其中meta_prompt_file参数可选择不同的提示模板位于prompts/inference_prompts/目录下。四、使用聊天界面与机器人交互启动成功后程序会自动打开Gradio网页界面。你可以在输入框中直接键入问题或指令调整参数优化输出Temperature控制输出随机性0.0-2.0值越高回答越有创意Top p控制采样多样性0.0-1.0推荐设置0.75-0.95Max new tokens控制回答长度32-1024程序提供了几个示例问题如Tell me about llama.和Who is the president of US in 2021?你可以直接点击使用这些示例快速体验。五、常见问题解决5.1 模型加载缓慢如果模型加载时间过长可能是因为硬件配置不足。Dromedary推荐使用至少24GB显存的GPU运行。5.2 运行时出现内存错误尝试减少max_new_tokens参数值或使用低配置的启动脚本如2shards版本。5.3 找不到模型文件确保你已正确下载并指定了LLaMA-2模型文件路径模型下载脚本可参考llama_dromedary/download.sh。通过以上步骤你已经成功在本地搭建并运行了Dromedary聊天机器人。这个强大的AI助手不仅能回答各种问题还遵循伦理原则提供可靠的响应。开始探索与Dromedary的智能对话吧【免费下载链接】DromedaryDromedary: towards helpful, ethical and reliable LLMs.项目地址: https://gitcode.com/gh_mirrors/dr/Dromedary创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 新手必看：5分钟上手Dromedary聊天机器人，本地搭建智能对话系统教程
新手必看5分钟上手Dromedary聊天机器人本地搭建智能对话系统教程【免费下载链接】DromedaryDromedary: towards helpful, ethical and reliable LLMs.项目地址: https://gitcode.com/gh_mirrors/dr/DromedaryDromedary是一款致力于打造有帮助、符合伦理且可靠的大型语言模型(LLM)通过简单几步即可在本地搭建属于自己的智能对话系统。本教程将带你快速掌握从环境准备到启动聊天机器人的全过程让AI助手触手可及。一、准备工作快速搭建运行环境1.1 克隆项目代码库首先需要获取Dromedary的源代码在终端中执行以下命令git clone https://gitcode.com/gh_mirrors/dr/Dromedary cd Dromedary1.2 安装依赖包进入项目目录后通过requirements.txt安装必要的依赖组件。确保你的环境已安装Python 3.8执行pip install -r inference/requirements.txt该文件包含了运行聊天机器人所需的核心依赖如transformers、accelerate和gradio等。二、了解Dromedary的工作原理Dromedary采用创新的自对齐技术通过四个关键步骤构建可靠的AI助手Dromedary自对齐流程展示了从种子提示到最终模型的构建过程仅需不到300行人工标注主题引导的自指令生成使用195个种子提示和7条规则生成36万个合成指令原则驱动的自对齐基于16条AI助手原则和5个上下文学习示例生成26万个对齐响应原则雕刻通过修剪原则和示例后微调原始模型详细克隆优化模型以产生深入且详细的响应三、启动聊天机器人的两种方式3.1 使用预配置脚本推荐项目提供了便捷的启动脚本位于inference/scripts/目录下根据你的硬件配置选择合适的脚本对于2个GPU的配置bash inference/scripts/demo_dromedary_stream_2shards.sh对于8个GPU的配置bash inference/scripts/demo_dromedary_stream_8shards.sh3.2 手动运行Python脚本如果需要自定义参数可以直接运行聊天机器人主程序python inference/run_stream_chatbot_demo.py \ --ckpt_dir /path/to/llama-2-70b \ --tokenizer_path /path/to/tokenizer \ --meta_prompt_file prompts/inference_prompts/dromedary_standard_prompt_distill.txt其中meta_prompt_file参数可选择不同的提示模板位于prompts/inference_prompts/目录下。四、使用聊天界面与机器人交互启动成功后程序会自动打开Gradio网页界面。你可以在输入框中直接键入问题或指令调整参数优化输出Temperature控制输出随机性0.0-2.0值越高回答越有创意Top p控制采样多样性0.0-1.0推荐设置0.75-0.95Max new tokens控制回答长度32-1024程序提供了几个示例问题如Tell me about llama.和Who is the president of US in 2021?你可以直接点击使用这些示例快速体验。五、常见问题解决5.1 模型加载缓慢如果模型加载时间过长可能是因为硬件配置不足。Dromedary推荐使用至少24GB显存的GPU运行。5.2 运行时出现内存错误尝试减少max_new_tokens参数值或使用低配置的启动脚本如2shards版本。5.3 找不到模型文件确保你已正确下载并指定了LLaMA-2模型文件路径模型下载脚本可参考llama_dromedary/download.sh。通过以上步骤你已经成功在本地搭建并运行了Dromedary聊天机器人。这个强大的AI助手不仅能回答各种问题还遵循伦理原则提供可靠的响应。开始探索与Dromedary的智能对话吧【免费下载链接】DromedaryDromedary: towards helpful, ethical and reliable LLMs.项目地址: https://gitcode.com/gh_mirrors/dr/Dromedary创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考