IT之家 2 月 24 日消息,微软近日发布了开源自动化框架 PyRIT,这是一款 Python 风险识别工具包,主要帮助安全专家和机器学习工程师识别生成式 AI 的风险,阻止他们的人工智能系统失控。
微软的 AI Red Team 已经使用该工具,检查包括 Copilot 在内生成式人工智能系统中风险。
微软强调通过向公众提供内部工具,以及分享 AI Red Team 方面的其他投资成果,其目的是推动人工智能安全民主化。
IT之家注:Red Team 是在军事演习、网络安全演习等领域中扮演敌人或竞争对手角色的群体,扮演己方角色的则称作蓝队。Red Team 通常定义为敌方部队,通过攻击网络来提高产品安全性。
微软 AI Red Team 专门成立了一个跨学科的安全专家小组,管理复杂的攻击演习。PyRIT 框架的工作原理如下:
PyRit Agent 向目标 Gen AI 系统发送恶意提示词;当它收到 Gen AI 系统的回应时,就会向 PyRIT 评分引擎发送回应。
评分引擎将响应发送给 PyRit 代理;然后,代理根据评分引擎的反馈发送新的提示。
这一自动化过程一直持续到安全专家得到所需的结果为止。
微软已经将相关代码托管到 GitHub 上,感兴趣的用户可以深入阅读。
“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。
Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”