快捷搜索:  test  as

一种用于强化AI模型以抵抗对抗攻击的安全框架

(文章滥觞:教导新闻网)

测试机械进修模型的鲁棒性的一种措施是所谓的特洛伊木马进击,它涉及改动模型以相应输入触发,从而导致其揣摸出差错的相应。为了使这些测试更具可重复性和可扩展性,约翰·霍普金斯大年夜学的钻研职员开拓了一个名为TrojAI的框架,该框架是一组对象,可天生触发的数据集以及与特洛伊木马相关的模型。他们说,这将使钻研职员能够懂得各类数据集设置设置设备摆设摆设对天生的“特洛伊木马”模型的影响,并且将有助于周全测试新的特洛伊木马检测措施以强化模型。

TrojAI是一组Python模块,使钻研职员能够查找并天生木马AI分类和强化进修模型。在第一步(分类)中,用户设置设置设备摆设摆设(1)要利用于感兴趣的数据集的数据中毒的类型,(2)要练习的模型的体系布局,(3)模型的练习参数,以及( 4)要练习的型号。然后由主法度榜样提取设置设置设备摆设摆设,天生所需的模型。或者,用户可以设置设置设备摆设摆设一个可在有毒的情况中练习模型的模型,而不是数据集。

数据天生子模块datagen创建包孕图像或文本样本的合成语料库,而模型天生子模块modelgen练习包孕特洛伊木马的一组模型。

在对木马数据集或情况进行模型练习时,TrojAI会网络多个指标,包括针对没有触发前提的测试数据集中所有示例的数据对练习后的模型的机能;具有嵌入式触发器的示例的练习模型的机能;以及模型练习历程中触发的干净示例类的模型机能。这三个指标均具有高机能,旨在使您确信该模型已成功进行特洛伊木马,同时在为其设计模型的原始数据集上维持了高机能。

将来,钻研职员盼望扩展该框架,以合并其他数据模式,例如音频以及诸如工具检测之类的义务。他们还计划扩展数据集,体系布局和触发增强进修情况的库,以测试和天生多个触发模型,并斟酌到旨在避免检测的触发嵌入措施的最新进展。

约翰霍普金斯大年夜学团队远非独逐一个应对机械进修中抗衡性进击的寻衅的团队。2月份,Google钻研职员颁发了一篇论文,描述了一个框架,该框架可以检测进击或向进击者施加压力,以孕育发生类似于目标图像类其余图像。百度供给了一个对象箱-Advbox-用于天生抗衡性示例,这些示例可以诈骗MxNet,Keras,Facebook的PyTorch和Caffe2,谷歌的TensorFlow和百度自己的PaddlePaddle等框架中的模型。麻省理工学院的谋略机科学和人工智能实验室近来宣布了一个名为TextFooler的对象,该对象可以天生抗衡性文原先增强自然说话模型。

(责任编辑:fqj)

您可能还会对下面的文章感兴趣: