北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了

近年来，针对视觉感知系统安全性评估的探索逐步深入，先后有研究者成功实现基于眼镜、贴纸、衣服等不同载体的可见光模态安全评估技术，也有一些针对红外模态的新尝试。但是它们都只能作用于单一模态。

随着人工智能技术的发展，可见光 - 热红外成像技术已同时应用于治安监控、自动驾驶等诸多安全关键任务中，其中可见光成像可以在白天提供丰富的纹理信息，红外成像则可以在夜间清晰显示目标的热辐射分布，二者结合更为视觉感知系统带来 24 小时全覆盖和不受环境局限等诸多优势。因此，针对多模态视觉感知系统的统一安全评估方法也亟须研究。

然而，实现多模态评估极具挑战性。首先，在不同成像机制下攻击方法通用难。以前的方法都分别基于特定目标模态成像特点提出，在其他模态下很难起到作用。再者，平衡隐身性能、制作成本和灵活应用难。对于可见光和更难的红外模态双重有效已是不易，实现低成本便捷制作与使用更是难上加难。

面对诸多挑战，来自北航人工智能研究院的研究者挖掘可见光 - 红外模态间通用的形状属性，创新性地提出 「跨模态通用对抗补丁」，实现可见光 - 红外同步隐身。其遴选易获取、成本低、隔热性能优异的材料制作便捷贴片，即拆即用，在填补当前物理世界可见光 - 红外多模态检测系统鲁棒性评估技术缺失的同时，兼顾物理实现的简易性与即时性。实验证明了该方法在不同检测模型与模态下的有效性，以及多场景下的泛化性。目前，该论文已被 ICCV 2025 接收。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

网易人工智能

网易数帆多媒体智能生产力平台

233 查看详情

论文链接：https://arxiv.org/abs/2307.07859

代码链接：https://github.com/Aries-iai/Cross-modal_Patch_Attack

技术要点

该研究以进化算法为基础框架，立足形状建模、形状优化、模态平衡三个角度进行方案设计与效果改进，具体流程如图所示：

   

1. 基于样条插值的多锚点形状建模

对于基础形状建模部分，研究人员设计点优化建模新范式，其可通过改变点坐标直接调整补丁形状，此过程中锚点的运动不会受方向、距离等限制，有效增大了补丁形状的搜索空间。在此基础上，为了确保形状自然性，其还利用样条插值方法实现平滑连接，样条会更紧密地跟随控制点。

2. 基于差分进化的边界限定形状优化算法

实现攻击需要有效的优化手段，为此研究人员从时间成本、实际效果等角度考量，以进化算法作为基本框架，并从边界设定、适应度函数两个角度改进：

（1）边界设定：针对锚点进行边界设定提高形变有效性，降低时间成本。其具有以下设定：不会在曲线段内形成循环或自交；在曲线段内不容易出现尖点；不会出现在无效区域。 

以锚点为例，下图蓝色部分为边界设定图例，橙色部分为错误实例：

关于锚点的边界判定  数学表达如下所示：

（2）适应度函数：不同于前人工作仅针对于单个模态进行攻击评估，本文工作聚焦于可见光 - 红外两个模态，天然存在平衡模态效果差异的问题。因此为了避免走向易优化单一模态极端，研究人员创新性提出了基于检测器置信度得分感知的跨模态适应度函数，鼓励探索成功方向的同时平衡两模态效果差异，最后根据评分优胜劣汰。考虑到初始阶段和后期阶段攻击难度的不同，其使用指数函数代替线性函数，更加突出不同阶段攻击进度的差异性。

                             

算法迭代该探索过程直至两模态都攻击成功，输出最优形状策略。完整优化流程如下所示：

实验结果

实验一：针对不同系列检测器的跨模态攻击性能验证

实验二：针对形状的消融实验

实验三：针对跨模态适应度函数的消融实验

实验四：物理实施偏差下的方法鲁棒性验证

实验五：不同物理条件下的方法有效性验证

不同角度、距离、姿势、场景下的性能验证可视化结果

总结

本文工作以自然形状优化为核心，将形变补丁与跨模态攻击相结合，设计了一种物理环境下可见光 - 红外多模态鲁棒性评估方法。该方法可对多模态（可见光 - 红外）目标检测系统的鲁棒性进行评估，根据评估结果有效修正检测器模型，同时提高可见光、红外两种模态下目标图像检测的准确性，在物理环境下做到真正的可实施、可应用，为多模态检测系统的鲁棒性评估与改进作出贡献。

以上就是北航打破模态壁垒，跨可见光-红外模态的通用物理对抗攻击方法来了的详细内容，更多请关注其它相关文章！

# 所示  # 罗湖智能seo推广  # 绵阳网站建设定制  # 淘宝查关键词排名网  # 抖音营销的推广怎么做的  # 谷歌推广网络营销多少钱  # 新闻营销推广服务网站官网  # 小杨哥推广营销系统  # 青岛网站推广助理  # 推广营销方案xgd云6速6捷  # 铁路论文网站建设需要  # 中国  # 理论  # 检测系统  # 腾讯  # 中国科学院  # 多模  # 网易  # 北航  # 来了  # 模态  # type  # 可见光 - 热红外成像  # 视觉感知 

相关栏目： 【 行业新闻62819 】 【 科技资讯67470 】

相关推荐： 如何获得元宇宙的第一个属于自己的空间  财联社首档运用虚拟人技术播报栏目《AI半小时》今晚上线！敬请期待  2025年贵州省青少年机器人竞赛在安举行  腾讯企点客服接待与营销分析能力升级！企业操作更高效、人机交互更智能  郭帆：AI发展日新月异，或是弯道超车好莱坞的最好机会  谷歌AudioPaLM实现「文本+音频」双模态解决，说听两用大模型  大型无人机FH-98国内首次夜航转场成功  曝光HarmonyOS 4的重要新能力：全面升级AI大模型，小艺实现全面进化  Meta发布音频AI模型，仅需2秒片段模拟真人语音  AI 程序 Text With Jesus 在海外迅速受到关注：与耶稣和撒旦进行对话  禁止艺术家使用 AI 创作《龙与地下城》游戏插图的决定已在 D&D Beyond 生效  PHP和OpenCV库：如何实现人脸识别  如何利用AI工具写好本科论文：科技助你一臂之力  华为云盘古大模型3.0发布 AI云服务同时上线：200亿亿次性能  天翼云在国际AI顶会大模型挑战赛中获得冠军  OpenAI夺冠：人工智能为云计算带来新变革  OpenAI 引入个性化指令功能，消除对话中的重复偏好与信息  如布AI口袋学习机S12 将亮相综艺节目《好样的！国货》  埃森哲俞毅：AI时代我们需要新的“摩尔定律”  曝索尼在开发新头显设备：游戏中使用AR技术  Ai智能机器人，chat-免注册登入，直接使用新版gpt4.0！  酒店业将如何受益于人工智能的改变？  Spotify计划推出AI驱动的音乐播放器功能  元宇宙技术带你穿梭“大运河”，江苏书展上的数字阅读馆吸睛小读者  AYANEO 安卓掌机 Pocket AIR 配置公布：天玑 1200 + 5.5 英寸屏  OpenAI限制网络爬虫访问以保护数据免被用于AI模型训练  360°/180°双模式，佳能公布可折叠小体积的VR全景相机  争鸣：OpenAI奥特曼、Hinton、杨立昆的AI观点到底有何不同？  时隔 4 年：谷歌更新安卓机器人 LOGO，形象更立体  创作音乐/音频的Meta开源AI工具AudioCraft，让用户通过文本提示实现  “踩油门，也要会踩刹车” 互联网企业高管谈人工智能发展  一文看懂基础模型的定义和工作原理  热点资讯：家乐福推出聊天机器人；米哈游2025年营收273.4亿元…  美妆行业在AI时代蓬勃发展  微软Bing聊天机器人电脑端即将支持语音提问  “智能体动作生成技术”现身WAIC：游戏AI技术为机器人科创注入新动力  国宝级文物“铜兽驮跪坐人顶尊铜像”完成模拟拼接，腾讯AI立功  人工智能正在弥合认知和表达之间的鸿沟  国内阅读行业首款对话式AI应用“阅爱聊”封闭内测  1分钟做出苹果Vision Pro「官网」？上班8小时搞出480个网页，同事被卷疯了  AI生成新闻网站数量激增，正在疯狂赚取广告收入  无人机在电力巡检中的应用：全面解析高效巡检流程  首个算网生态体！中国移动元宇宙产业联盟正式成立  世界人工智能大会|“AI领航，共筑未来”高端保险论坛成功举办  马斯克：将来机器人比人类多！特斯拉机器人亮相人工智能大会  亲身体验鸿蒙4：AI大模型带来的便利，告别单纯的旁观者状态  腾讯汤道生：大模型只是起点，产业落地是AI更大的应用场景  OpenAI 向所有付费 API 用户开放 GPT-4  聚焦人工智能大模型、AIGC 徐汇十余场重磅论坛等你来  硅谷人工智能研究院创始人皮埃罗·斯加鲁菲：Transformer模型演讲