汉文题目：基于多任务学习的多模态遥感图像营救与显赫性检测激情文学网
论文题目：Multitask learning for image translation and salient object detection from multimodal remote sensing images
托福期刊/会议：【The Visual Computer】 JCR Q2
托福/见刊时间：2023.3.9
作家列表：
1）连远锋 中国石油大学（北京）信息科学与工程学院 策划机系矜重
2）石旭 中国石油大学（北京）信息科学与工程学院 策划机技巧专科 硕20
3）沈韶辰 中国石油大学（北京）信息科学与工程学院 策划机技巧专科 硕16
4）华璟 好意思国密西根韦恩州立大学 策划机科学系栽植
摘录:
本文冷漠了一个新颖高效的多任务学习框架，用于遥感图像的图像域营救和显赫性检测。领先，策画了权重分享预防力GAN图像域营救网罗（WSA-GAN）和显赫性检测限度率领网罗（BGNet），杀青从红外遥感图像（IRIs）或光学遥感图像（ORIs）生成互补模态的遥感影像并进行看法的限度检测。然后，冷漠了一种多模态高下文感知学习模块（MCL）用于特征索要，并杀青ORI和IRI多模态高下文中潜在特征的纠缠与解纠缠。临了，针对卷积神经网罗在看法具有看法性变化时线路欠安问题，基于多任务学习框架引入了预防力感知模块来提高著性特征的抒发身手。实验成果标明，所冷漠的图像域营救和显赫性检测网罗的性能优于其他门径。
策画与杀青:
本文通过输入双模态遥感影像对试验WSA-GAN生成互补模态图像的身手，由生成器索要的多级浅层特征用于MFLN生成多顺次团聚特征。然后通过MCL对第一阶段生成的多模态图像对进行特征索要与和会，并将多模态和会特征输入至AACNet。AACNet将特征处理为低级胶囊，并通过路由机制构建高档胶囊。临了，BGNet通过BAB输出的边际特征与MFLN输出的多顺次团聚特征生成显赫性检测成果。
1、多任务学习框架
多任务学习框架，99bt工厂地址如图1所示。WSA-GAN内置的多重相加预防力模块（MAB）用于过滤特征信息，而多模态特征分享模块（MFSB）用于分享交互特征信息。潜在空间GAN（Latent Space GAN）通过生成连合潜在空间特征向量保握多模态和会特征的再现性。AACNet网罗镶嵌具有预防力感知战术的特征和会模块（FFAM），其中的交互预防力模块（RAM）与双重预防力模块（DAM）用于提高显赫性特征的抒发身手。
图1 多任务学习框架结构
2、多模态高下文感知学习
为进一步提高卷积神经网罗中多层特征中的空间高下文信息抒发身手，多模态高下文感知学习被引多模态学习框架中，如图2所示。
图2 多模态高下文感知学习
3、预防力感知特征和会模块
本文冷漠的预防力感知特征和会模块施展对两分支特征进行和会。其中交互预防力模块基于空间预防力结构增强显赫对象区域联系的空间信息，而双重预防力模块基于空间预防力结构与自预防力结构杀青多分支特征和会。
图3 预防力感知特征和会模块中的DAM与RAM
实验成果及分析:
表1 图像域营救不同门径定量比较
表1给出了不同门径针对多模态遥感影像进行图像域营救多目的定量比较。不错看出，多任务学习框架比拟于其他门径在MAE、PSNR及SSIM呈现出最好的成果，但在
在模子大小和时间复杂度方面未能达到最优。
图4 ORIs营救为IRIs可视化成果对比
图4为ORIs营救为IRIs的可视化成果对比。从左至右，辨别为：(a)输入图像（ORIs）；(b)真值图像；(c)Pix2pix；(d)CycleGAN；(e)DualGAN；(f)Pix2pixHD；(g)MUNIT；(h)DRIT；(i)本文门径。从图中不错看出所提门径更接近真值图像。
表2 显赫性检测不同门径定量比较
玩偶姐姐 麻豆
表2中的模子大小与测试时间目的辨别汲取兆字节（MB）与毫秒（ms）的单元。表中门径均在自建数据集、ORSSD数据集和EORSSD数据集使用默许参数进行了相应再试验。因ORSSD和EORSSD数据集均为ORIs数据集，为此多任务学习框架将双分支WSA-GAN和MCL的结构修改为单分支结构来进行实验。如表2所示，所提门径在
、MAE及
目的中得回了较好的成果，相通模子大小和测试时间中未能达到最优。
图6 在红外遥感影像中不同显赫性检测门径的可视化成果
图6展示了IRIs中不同显赫性检测门径的可视化成果，从左至右辨别为：(a)输入图像（IRIs）；(b)真值图像；(c)DAFNet-V；(d)DAFNet-R；(e)PoolNet；(f)DSS；(g)EGNet；(h)RCRR；(i)RRWR；(j)本文门径。本文门径在具有多种属性的图片中齐体现出了较高准确率的显赫性检测性能，具有更高的鲁棒性。
图7 预防力感知战术消融实验可视化对比
图7展示了针对预防力感知战术的消融实验，从左至右辨别为：(a)输入图像；(b)真值图像；(c)单路由胶囊网罗+BGNet；(d)AACNet+BGNet。如图所示，借助预防力感知战术的多任务学习框架具有较高的显赫性检测准确率。
论断:
本文冷漠了一种具有权重分享战术的WSA-GAN，从遥感图像合成互补模态图像，尝试经管IRIs图像不及问题；并构建互补的视觉特征，以杀青多模态遥感图像的显赫性检测。通过构建AACNet进一步增强多模态看法特征抒发身手并通过潜在空间将其进行关联，以经管经典CNN对看法性不解锐问题。临了，通过多顺次特征学习网罗、限度感知块和胶囊显赫图生成最终的显赫性检测成果。
作家简介:
连远锋，副栽植
博士激情文学网，硕士生导师。科研责任触及图像处理与诬捏实际、机器视觉与机器东说念主、深度学习与数字几何。同期从事遥感影像处理、数字孪生与智能机器东说念主巡检、基于粒子的裸露模拟与可视化等技巧开荒与工程期骗责任。