Classification-Driven Dynamic Image Enhancement-程序员宅基地
Classification-Driven Dynamic Image Enhancement
论文简介
这是CVPR2018的一篇文章，基于分类的动态图像增强，这个论文首次将图像增强任务与分类结合起来，不同于现有的图像增强方法去评判增强后图像的感知质量，而是用分类结果的准确性来衡量图像增强的质量。
本文的主要贡献是联合优化一个CNN用于增强和分类，我们通过动态卷积自适应地增强图像中的特征来实现这一目标，使得CNN结构能够选择性地增强那些有助于提高图像分类的特征。
网络的整体结构
给定一张输入图像，不是直接用CNN进行分类（如上图的[a]路径），而是先用WLS滤波器对图像细节进行增强，再对其进行分类（如上图的[b]路径），这样可以提高分类的可信度。
本文的目标是学习一种动态图像增强网络来提高分类准确度，但不是近似特定的增强方法。为此，文中给出了三种CNN结构。
动态增强滤波器（Dynamic enhancement filters）：
由图可知，对于一张输入的RGB图像I，先把它转化成亮度-色度（luminance-sschrominance）图像，亮度图像Y，及彩色图像 CbCr 彩色空间。增强算法****用于RGB图像的亮度通道，可以使得过滤器修改整体色调属性和图像锐度，而不影响颜色。再加上色度通道的图像可以得到增强后的图像I’，之后增强后的图像输入分类网络中进行分类。其中的目标图像作者采用了5种经典的方法对其进行增强，分别为：(1) weighted least squares (WLS) filter, (2) bilateral filter (BF), (3) image sharpening filter (Imsharp), (4) guided filter (GF) ,(5)histogram equalization (HistEq)，均使用其默认参数。但在该模型中，每个数据集一次只使用其中一种增强方法，且对每一张输入图像，都动态得产生特定的滤波器参数。这里的卷积网络用了AlexNet，GoogleNet, VGG-VD, VGG-16和BN-Inception这五个模型进行测试，其中BN-Inception在分类中表现最好，因此在后续实验中作为默认结构。
分类网络中的全连接层和分类层的参数均使用预训练好的网络微调得到。
该网络的损失函数有两部分组成，用于增强的MSE loss和用于分类的softmax loss，用SGD优化器联合优化这两部分损失，总的损失函数如下：
其中，MSE loss计算的是增强后的亮度图像与用传统方法增强后的目标图像的均方误差。a为分类网络中最后一个全连接层的输出，y为图像I的真实标签，C为分类数量。联合优化使得损失梯度可以从ClassNet中反向传播至EnhanceNet，来优化滤波器的参数。
静态滤波器（Stat-CNN）：
在该结构中，静态滤波器由第一种结构中所有的动态滤波器的平均得到，每个滤波器的权重相等，均为1/K=0.2(K=5)；同时，由于增强后的图像可能比原始图像效果还差，因此使用一个恒等滤波器来产生一张原始图像,再将它们与色度图像相加得到增强后的RGB图像I`以及它们的权重，这个权重表明增强方法对输入图像的重要性。在分类网络中，输入为5种方法增强后的图像和原始图像及其对应权重和标签，输出为图像类别。和第一种方法一样，分类网络中的全连接层和分类层的参数均使用预训练好的网络微调得到。
这里的损失函数为权值与softmax损失的加权和，带权重的loss可写成如下形式：
其中，K=5,前K个权重相等，均为0.2，第K+1个原始RGB图像的权重设为1。
多动态滤波器：
这个网络结构与第一种网络结构比较相似,针对每种增强方法使用K个增强网络动态地产生K个滤波器，不同于第二种方法中取相同的权重，这里的权值根据均方误差来决定，增强后的图像误差越小，则权重越大，其计算公式如下:
同样，这边也加入恒等滤波器得到原始图像，且权值为1。其损失函数在第二种结构的基础上加入MSE来联合优化这K个增强网络，公式如下：
通过这种方式来训练网络可以使这些滤波器更好地增强图像的结构，以便于提高图像的准确率。
数据集：
在四个视觉识别任务上对本文提出的方法进行了评估：使用CUB-200-2011 CUB的细粒度分类，使用Pascal-VOC2007(PascalVOC)的对象分类，使用MIT-Indoor Scene(MIT)的场景识别，以及使用可描述纹理数据集(DTD)的纹理分类。
表1显示了数据集的详细信息。
实验及其结果：
细粒度分类：
在这一部分中，使用CUB-200-2011数据集，CUB是一个细粒度的鸟类分类数据集。该数据集包含20种鸟类，共11,788张图片。对于这个数据集，测量预测图像类别的准确性。
消融研究：在这里，从四个方面探讨提出的方法：(1)不同滤波器大小的影响；(2)每种增强方法分别的影响；(3)加权策略的影响；(4)不同ConvNet架构的影响。
从表2中可以看到通过使用本文所提出的方法，准确度得到了提升。
表3展示了通过使用Dyn-CNN和BN-Inception对幼崽的训练集进行交叉验证而估计的每种增强方法的权重W的相对比较，其中RGB图像的W默认设置为1。
实验结果
总结
总的来说，本文提出了一种CNN结构能效仿一系列的增强滤波器，通过端到端的学习来提高图像分类，由于一般的图像增强方法没有评判标准，所以将图像增强与分类任务结合起来，以提高图像分类正确率作为图像增强的标准，更具有实际意义。但这种方法存在一些问题，文中使用五种传统的增强方法来得到目标图像，所以增强网络学习到的结果最好也是接近这几种方法的结果，且文中没有具体研究这些增强后的图像，所以不知道它的效果到底如何，只能说明有助于图像的分类。
智能推荐
React学习记录-程序员宅基地
文章浏览阅读936次，点赞22次，收藏26次。React核心基础
Linux查磁盘大小命令,linux系统查看磁盘空间的命令是什么-程序员宅基地
文章浏览阅读2k次。linux系统查看磁盘空间的命令是【df -hl】，该命令可以查看磁盘剩余空间大小。如果要查看每个根路径的分区大小，可以使用【df -h】命令。df命令以磁盘分区为单位查看文件系统。本文操作环境：red hat enterprise linux 6.1系统、thinkpad t480电脑。(学习视频分享：linux视频教程)Linux 查看磁盘空间可以使用 df 和 du 命令。df命令df 以磁..._df -hl
Office & delphi_range[char(96 + acolumn) + inttostr(65536)].end[xl-程序员宅基地
文章浏览阅读923次。uses ComObj;var ExcelApp: OleVariant;implementationprocedure TForm1.Button1Click(Sender: TObject);const // SheetType xlChart = -4109; xlWorksheet = -4167; // WBATemplate xlWBATWorksheet = -4167_range[char(96 + acolumn) + inttostr(65536)].end[xlup]
若依 quartz 定时任务中 service mapper无法注入解决办法_ruoyi-quartz无法引入ruoyi-admin的service-程序员宅基地
文章浏览阅读2.3k次。上图为任务代码，在任务具体执行的方法中使用，一定要写在方法内使用SpringContextUtil.getBean()方法实例化Spring service类下边是ruoyi-quartz模块中util/SpringContextUtil.java(已改写)import org.springframework.beans.BeansException;import org.springframework.context.ApplicationContext;import org.s..._ruoyi-quartz无法引入ruoyi-admin的service
CentOS7配置yum源-程序员宅基地
文章浏览阅读2w次，点赞10次，收藏77次。yum，全称“Yellow dog Updater, Modified”，是一个专门为了解决包的依赖关系而存在的软件包管理器。可以这么说，yum 是改进型的 RPM 软件管理器，它很好的解决了 RPM 所面临的软件包依赖问题。yum 在服务器端存有所有的 RPM 包，并将各个包之间的依赖关系记录在文件中，当管理员使用 yum 安装 RPM 包时，yum 会先从服务器端下载包的依赖性文件，通过分析此文件从服务器端一次性下载所有相关的 RPM 包并进行安装。_centos7配置yum源
智能科学毕设分享(算法) 基于深度学习的抽烟行为检测算法实现(源码分享)-程序员宅基地
文章浏览阅读828次，点赞21次，收藏8次。今天学长向大家分享一个毕业设计项目毕业设计 基于深度学习的抽烟行为检测算法实现(源码分享)毕业设计 深度学习的抽烟行为检测算法实现通过目前应用比较广泛的 Web 开发平台，将模型训练完成的算法模型部署，部署于 Web 平台。并且利用目前流行的前后端技术在该平台进行整合实现运营车辆驾驶员吸烟行为检测系统，方便用户使用。本系统是一种运营车辆驾驶员吸烟行为检测系统，为了降低误检率，对驾驶员视频中的吸烟烟雾和香烟目标分别进行检测，若同时检测到则判定该驾驶员存在吸烟行为。进行流程化处理，以满足用户的需要。
随便推点
STM32单片机示例：多个定时器同步触发启动_stm32 定时器同步-程序员宅基地
文章浏览阅读3.7k次，点赞3次，收藏14次。多个定时器同步触发启动是一种比较实用的功能，这里将对此做个示例说明。_stm32 定时器同步
android launcher分析和修改10,Android Launcher分析和修改9——Launcher启动APP流程（转载）...-程序员宅基地
文章浏览阅读348次。出处 : http://www.cnblogs.com/mythou/p/3187881.html本来想分析AppsCustomizePagedView类，不过今天突然接到一个临时任务。客户反馈说机器界面的图标很难点击启动程序，经常点击了没有反应，Boss说要优先解决这问题。没办法，只能看看是怎么回事。今天分析一下Launcher启动APP的过程。从用户点击到程序启动的流程，下面针对WorkSpa..._回调bubbletextview
Ubuntu 12 最快的两个源 个人感觉 163与cn99最快 ubuntu安装源下包过慢_un.12.cc-程序员宅基地
文章浏览阅读6.2k次。Ubuntu 12 最快的两个源 个人感觉 163与cn99最快 ubuntu下包过慢 1、首先备份Ubuntu 12.04源列表 sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup （备份下当前的源列表，有备无患嘛） 2、修改更新源 sudo gedit /etc/apt/sources.list （打开Ubuntu 12_un.12.cc
vue动态路由（权限设置）_vue动态路由权限-程序员宅基地
文章浏览阅读5.8k次，点赞6次，收藏86次。1.思路（1）动态添加路由肯定用的是addRouter，在哪用？（2）vuex当中获取到菜单，怎样展示到界面2.不管其他先试一下addRouter找到router/index.js文件，内容如下，这是我自己先配置的登录路由现在先不管请求到的菜单是什么样，先写一个固定的菜单通过addRouter添加添加以前注意：addRoutes()添加的是数组在export defult router的上一行图中17行写下以下代码var addRoute=[ { path:"/", name:"_vue动态路由权限
JSTL 之变量赋值标签-程序员宅基地
文章浏览阅读8.9k次。 关键词： JSTL 之变量赋值标签 /* * Author Yachun Miao * Created 11-Dec-06 */关于JSP核心库的set标签赋值变量，有两种方式: 1.日期" />2. 有种需求要把ApplicationResources_zh_CN.prope
VGA带音频转HDMI转换芯片|VGA转HDMI 转换器方案|VGA转HDMI1.4转换器芯片介绍_vga转hdmi带音频转换器,转接头拆解-程序员宅基地
文章浏览阅读3.1k次，点赞3次，收藏2次。1.1ZY5621概述ZY5621是VGA音频到HDMI转换器芯片，它符合HDMI1.4 DV1.0规范。ZY5621也是一款先进的高速转换器，集成了MCU和VGA EDID芯片。它还包含VGA输入指示和仅音频到HDMI功能。进一步降低系统制造成本，简化系统板上的布线。ZY5621方案设计简单，且可以完美还原输入端口的信号，此方案设计广泛应用于投影仪、教育多媒体、视频会议、视频展台、工业级主板显示、手持便携设备、转换盒、转换线材等产品设计上面。1.2 ZY5621 特性内置MCU嵌入式VGA_vga转hdmi带音频转换器,转接头拆解