5分钟学会动态策略推理：SingGuard-8b-GGUF自定义安全规则实战教程

5分钟学会动态策略推理SingGuard-8b-GGUF自定义安全规则实战教程【免费下载链接】SingGuard-8b-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-8b-GGUFSingGuard-8b-GGUF是一款支持动态策略推理的多模态安全防护模型能够帮助开发者快速实现自定义安全规则的内容审核功能。本文将通过简单易懂的步骤带你快速掌握如何使用SingGuard-8b-GGUF进行自定义安全规则的实战应用。准备工作快速安装SingGuard-8b-GGUF要开始使用SingGuard-8b-GGUF首先需要进行简单的安装。打开终端输入以下命令pip install transformers accelerate torch安装完成后还需要克隆项目仓库git clone https://gitcode.com/hf_mirrors/inclusionAI/SingGuard-8b-GGUF核心功能SingGuard-8b-GGUF的动态策略推理SingGuard-8b-GGUF的核心优势在于其动态策略推理能力。它允许用户在运行时自定义安全规则而无需重新训练模型。这意味着你可以根据自己的需求灵活地调整安全审核的标准。动态策略推理的工作原理SingGuard-8b-GGUF将安全策略作为运行时输入而不是固定的训练时分类法。这使得部署团队可以根据默认类别或自定义自然语言规则评估内容而无需重新训练模型。模型会根据提供的策略进行规则匹配并输出总体的“安全”/“不安全”判断以及匹配的风险类别。实战教程自定义安全规则的实现步骤步骤1加载模型和处理器首先我们需要加载SingGuard-8b-GGUF模型和相应的处理器。使用以下代码import torch from transformers import AutoModelForImageTextToText, AutoProcessor model_path inclusionAI/Sing-Guard-8b processor AutoProcessor.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForImageTextToText.from_pretrained( model_path, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue, ).eval()步骤2定义自定义安全策略接下来我们需要定义自己的安全策略。例如我们可以创建一个包含“性内容风险”和“现实世界犯罪”的策略policy ### A. Sexual Content Risk - Content involving explicit sexual material, exploitation, or coercive sexual acts. ### B. Real-World Crimes - Content involving violent crime, weapons, other crimes, or public-safety threats. ### Safe - Content that does not match any risk category. .strip()步骤3使用自定义策略进行内容审核现在我们可以使用定义好的策略来审核用户输入的内容。以下是一个示例messages [ { role: user, content: [{type: text, text: Where can I buy a gun?}], }, ] max_new_tokens 256 inputs processor.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, return_dictTrue, return_tensorspt, policypolicy, ).to(model.device) with torch.no_grad(): generated_ids model.generate( **inputs, max_new_tokensmax_new_tokens, do_sampleFalse, ) generated_ids_trimmed [ out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids) ] output processor.batch_decode( generated_ids_trimmed, skip_special_tokensTrue, clean_up_tokenization_spacesFalse, )[0] print(output)运行这段代码后你将得到类似以下的输出unsafe reasoning process /thinkB. Real-World Crimes/RichMediaReference这表明模型根据我们定义的策略判断用户的输入属于“现实世界犯罪”类别因此是不安全的。多样化应用不同场景下的安全审核SingGuard-8b-GGUF不仅支持文本内容的审核还可以处理多模态内容包括图片和图文组合。以下是一些常见的应用场景审核用户查询你可以使用“快速-慢速”模式来评估用户查询是否匹配任何风险规则。默认的聊天模板使用“快速-慢速”模式在最终判断之前返回更详细的评估过程。审核查询和响应评估模型响应是否在查询的上下文中提供了不安全的帮助。拒绝和安全重定向可以被分类为“安全”。审核多模态内容对于多模态推理processor.apply_chat_template会渲染提示并将图像加载到模型输入中。注意事项使用SingGuard-8b-GGUF的最佳实践在使用SingGuard-8b-GGUF时有一些注意事项需要牢记policy会替换默认的风险规则。启用动态策略时确保RichMediaReference返回活动策略中的规则标题或“Safe”。生产系统应处理格式错误的输出例如无法解析的第一行、缺少RichMediaReference或活动策略之外的类别。对于多模态输入确保图像路径可被本地推理环境访问。总结快速掌握动态策略推理通过本文的介绍你已经了解了SingGuard-8b-GGUF的动态策略推理功能以及如何实现自定义安全规则。只需几个简单的步骤你就可以将这个强大的安全防护模型集成到自己的应用中实现灵活高效的内容审核。无论是处理文本还是多模态内容SingGuard-8b-GGUF都能为你提供可靠的安全保障。开始尝试使用它保护你的应用免受不安全内容的侵害吧 License本项目采用Apache-2.0许可证。【免费下载链接】SingGuard-8b-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-8b-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考