百万首页 |新闻 |产品 |分类 |供求 |商家信息 |招聘 |相册 |资讯 |知道 |商家 |随便看看
普通会员

天津世鼎门窗安装工程有限公司

民航、会展中心、厂房等

产品分类
  • 暂无分类
联系方式
  • 联系人:刘
  • 电话:022-24173530
  • 手机:13102247288
  • 传真:022-27288225
站内搜索
 
相关信息
  • 暂无资讯
78345黄大仙综合资料
专栏 卷积神经密集闇练蹊径 Dual Path Net香港挂牌④肖验证work

来源:本站原创  作者:admin  更新时间:2020-01-31  浏览次数:

  前面曾经谈了ResNet,ResNeXt,以及DenseNet,说明的原文都也许在文后找到。近日要介绍的Dual Path Network(双途蚁集)是2017年由颜水成教授提出的,作者的简介如下大师也许感触一下:

  DPN即是在ResNeXt和DenseNet的本原上,协和这两个辘集的核念维想而成,论文原文见附录。

  DPN的Dual Path(双途)组织集中了ResNeXt(残差分组卷积)和DenseNet(浓密相接)两种想想。即不妨使用残差聚集的跳跃毗邻对特性实行复用,又能够应用网络毗邻旅途持续探寻新特色。

  DPN的Dual Path(双路)构造纠集了ResNeXt(残差分组卷积)和DenseNet(浓密毗连)两种思想。即不妨利用残差收集的跳跃毗邻对特质进行复用,又能够运用搜集连接途径不绝寻找新特征。

  也许看到DPN的收集结构和ResNeXt的麇集布局很坊镳。最开始是一个 卷积层,接着即是一个最大池化层,再尔后是四个 stage ,再接一个全局平均池化以及全相接层,末了是 softmax 层。理思结构是如此,主旨就在每个 stage 悉数是如何变化的了,接下来我们就一切来邃晓一下。

  上面叙了DPN蚁集便是把ResNeXt和DenseNet调和成1个网络,因而这里开端介绍一下这篇论文是奈何剖明ResNeXt和DenseNet的,齐备如Figure2所示:

  此中Figure2(a)就是ResNeXt的一限制,个中(a)的左边这个矩形的小凸起个别就代表每个残差模块输入输出,对于一个输入 x ,分两条途走,一条是 x 自己,即残差模块中的跳跃连接,而另一条即是过程 1x1 卷积+ 3x3 卷积+ 1x1 卷积(即瓶颈构造),尔后把这两条叙博得终于做一个求和即可,也就是文中的 + 标识,得回下一个残差模块的输入。

  而Figure2(b)是DenseNet的一个人,其中(b)左边的多边形突出代表每个聚集连接模块输入输出,对付输入 x 只要一条说,即流程几层卷积之后和 x 做一个通说团结( concat ),取得的输出又是下一个网络毗邻模块的输入,如此每一个收集毗连模块的输入都在继续累加,可能看到这个多边形越来越宽。

  Figure2(c)始末在(b)中的模块之间共享相似输出的第一个 1x1 卷积,搜集毗邻模块退化成了残差模块,虚线圈起来的个人即是残差模块。

  Figure2(d)是双旅途体系结构(DPN),将统一层上ResNet的输出和DenseNet的输出按元素相加,再闭座做卷积,尔后将终归按一向通说分派的状况来决裂又各分给残差模块和搜集相连模块来连接,既有按元素相加尚有通叙相加,这便是DPN的双途径。

  Figure2(e)实质上和Figure2(d)是工程等价的,个中 ~ 暗指瓜分掌管, + 表示元素级加法。一个模块中先连接,尔后全部做卷积,再分开,分开之后残差模块的和残差模块毗邻,搜集相接模块和汇聚相接模块邻接,连完之后取得新的特点层。这一同达成后再做些卷积、pooling等,尔后一直作为下一个模块的输入。

  其中Figure2(a)就是ResNeXt的一局限,此中(a)的左边这个矩形的小喧赫局限就代表每个残差模块输入输出,关于一个输入 x ,分两条叙走,一条是 x 己方,即残差模块中的跳跃毗邻,而另一条就是经过 1x1 卷积+ 3x3 卷积+ 1x1 卷积(即瓶颈结构),而后把这两条道获得结果做一个求和即可,也即是文中的 + 象征,获得下一个残差模块的输入。

  而Figure2(b)是DenseNet的一片面,个中(b)左边的多边形出色代表每个收集连接模块输入输出,对于输入 x 惟有一条道,即经过几层卷积之后和 x 做一个通叙团结( concat ),获得的输出又是下一个密集连接模块的输入,如此每一个汇聚连接模块的输入都在不休累加,或许看到这个多边形越来越宽。

  Figure2(c)颠末在(b)中的模块之间共享形似输出的第一个 1x1 卷积,聚集毗邻模块退化成了残差模块,虚线圈起来的限度便是残差模块。

  Figure2(d)是双路途体绑缚构(DPN),将同一层上ResNet的输出和DenseNet的输出按元素相加,再整个做卷积,而后将终归按本来通讲分派的情形来瓦解又各分给残差模块和麇集连接模块来相接,既有按元素相加再有通道相加,这便是DPN的双途径。

  Figure2(e)本质上和Figure2(d)是工程等价的,苹果战狼六肖六码资料《哥斯拉:怪兽行星》新PV放出 第二章明年5,其中 ~ 暗指豆剖控制, + 暗指元素级加法。一个模块中先相接,而后完全做卷积,再隔开,隔开之后残差模块的和残差模块邻接,密集毗连模块和搜集相连模块毗邻,连完之后取得新的特质层。这一块告竣后再做些卷积、pooling等,然后不停四肢下一个模块的输入。

  需要注意的一点是,上面的所有的 3x3 卷积都是分组卷积,因此DPN是ResNeXt和DenseNet的鸠集,而不是ResNet。

  ResNet VS RNN。ResNet可能鞭挞特点复用,省略特性冗余,缘由ResNet可以过程跳跃连接博得没有讯休冗余的直连映射局限,尔后对冗余的音信实行新闻提取和过滤,提取出有用的新闻就是残差,这原本和RNN的有一点像,如下图:

  ResNet VS RNN。ResNet或许激励特征复用,节减特质冗余,原由ResNet也许颠末跳跃相接获得没有讯歇冗余的直连照射局限,而后对冗余的音讯举行消歇提取和过滤,提取出有用的讯休便是残差,这其实和RNN的有一点像,如下图:

  DenseNet VS HORNN。DenseNet因由提前连接的特色又经过了卷积,因而或许学到新特性。这和HORNN斗劲犹如,如下图所示:

  DenseNet VS HORNN。DenseNet来历提前邻接的特色又经过了卷积,于是或许学到新特征。这和HORNN比力如同,如下图所示:

  于是DPN就有一种恰似于RNN的特质再三行使以及摸索新特征的结果,博得了性能升高。

  Table2是在ImageNet-1k数据集上和SOTA汇聚构造的比较终于,不妨看到DPN的模型更小,GFLOPs和正确率方面都邑更好。

  DPN将ResNeXt和DenseNet相聚积,使得收集对特点的行使稀少宽裕,博得了比ResNeXt和DenseNet更好的效力,论文的思念是值得警惕的,不过似乎工程上用的较量少,我们揣摸起因还是这个邻接太羼杂了吧。