【总结 Anchor-free1】Anchor-Free Keypoint方法总结以及思路分析

&Anchor-based的shortcoming

1) 使用anchor时,需要在每个特征尺度上密集平铺,而仅有很少一部分是正样本,即正负样本的比例差别很大;最终有很多计算都花费在无用样本,且一般使用时需要进行预处理,挖掘难负例;

2) 需要预定义的anchor size以及aspect ratio。检测性能会收到这些预定义的参数的影响,如果在每一个位置设定的anchor的数量太多,也会导致计算量成倍增长;

3) 使用axis-align的形式:

  • 由于anchor是针对特征图上的点进行提取的,并不是所有的像素点上都会提取对应的anchor,且在每个点上提取的anchor的数量也不尽相同,如果只使用axis-align形式,最终结果可能对于那个bbox中心不在特征图上的点不大友好,最终影响整体的精度;当然,目前也有针对该问题做出的调整,如可以通过预测中心点偏移,参照RepDet中的Adaptive Convolution方法
  • 使用box来作为一个目标的回归结果,仍然会在其中包含大量的背景信息,尤其是在边角区域,而且对于斜放的细长目标会造成更大的影响。在这个方向上,也存在一些改进方式,如ExtremNet提出的使用八边形来描述一个目标,(Segmentation is All You Need)论文中也提出将目标的范围通过椭圆精细化。

 

&Anchor-free方法以及具体思想

1) YOLOv1

YOLOv1摒弃了anchor,使用grid来负责每一块区域的目标检测。主要思想就是将整张图片划分为S×S(7×7)个grid,每个网格检测B(2)个bbox。

分享图片

按照论文讲述的结果,先将图片resize到448×448;然后输入到CNN中,最终输出一个7×7×30的矩阵,其中30表示的是20个类别得分,2个回归框的信息(x, y, w, h, confidence);将最终的结果使用NMS进行处理。

分享图片

显而易见,网上有人觉得这也是anchor的一种变种,但是,我认为这已经不再是anchor,反倒观点更接近于通过点来对bbox回归的思想。只不过YOLOv1是通过先将整张图片分成了多个网格,对应的中心落在该网格内的目标则由这个网格来回归。

Pros

  • 处理速度很快。YOLOv1的运行速度因为预处理部分很简单,只是简单地进行resize,之后直接使用CNN网络进行回归,在后处理中也只是用到了NMS,且最终得到的bbox回归框的个数极少。
  • 降低背景误检。相比于anchor-based方法会提取很多的anchor出来,YOLOv1在运算过程中,会使用到的“anchor”相当少,至多只有7×7×2个。

Cons

  • 模型精度低。因为在运算中使用了很少的box,而且还定义了一个grid至多能识别的目标的数量,对于无目标与多目标存在同一个grid中的情况很不友好。且模型是从数据中学习预测bbox,最终对于新的或者不寻常的aspect ratio或者configuration的目标很难识别,由于使用了多层的卷积层,最终使用到的特征的信息很粗糙。
  • 不适用于密集目标检测。同理。
  • 有着很强的空间限制因为YOLOv1在一个grid中至多只能识别两个目标,而且只能识别一个类。
  • 损失函数等同对待小bbox以及大bbox的误差。

总而言之,YOLOv1可视为anchor-free论文的第一篇发迹文。之后就迎来了anchor-free方面论文的并发期,之后最基础的方法就是CenterNet以及CornerNet。

 

2) CenterNet

CenterNet的主要思想是通过中心点的信息来回归出其他bbox的属性,如中心点与四条边的距离、姿势、方向等信息。

分享图片

首先,CenterNet会计算keypoint heatmap,然后通过网络直接回归出需要使用的信息。这种方法简单、快速、高效而且没有任何的NMS的后处理操作,可以直接端到端地进行训练。但是,只使用中心点进行回归,显然会使得获取的信息过少,可能不足以支撑回归出如此有效的信息,最终影响到检测性能。不过可能是由于其回归的信息很充分,增强了各种信息的表征能力使得能够对结果有所提升,【愚见,之后会重温】

 

3) CornerNet

相比CenterNet从中心点来回归出边界距离获得bbox来说,CornerNet反其道而行,直接使用两个角点:top-left,bottom-right,直接定义bbox,以一组角点来确定一个目标。

分享图片

首先,CornerNet计算出top-left以及bottom-right两个heatmaps,其中分别表明图中的top-left以及bottom-right点的信息,然后通过embeded方法计算top-left集合以及bottom-right集合中点的距离,将距离最近的点分为一个组,作为最终的bbox。其中也是用了一些改进方法,如Corner-Pool,使得计算角点更精确。

当然,这种想法也很好,但是却不可避免地引入了分组的计算算法,增加了计算难度,同时与CenterNet类似,即便此时使用了两个角点的信息来确定一个bbox,此时的角点由于使用了Corner Pool方法融入了更多边的信息,不可避免地导致网络对于边更加敏感,而且忽略了更多的内部细节

 

4) CenterNet-Triplets

这种方法粗略来看就相当于整合了Center以及Corner的信息,相当于在CornerNet的基础上增加了Center的信息作为其中一个判别标准。Corner的heatmaps的生成仍然像CornerNet中一样,只不过多增加一个分支为center heatmap,corner分组后需要判断其中是否包含有center heatmap中的点,没有就可以直接排除。剩下的与CornerNet相似。

分享图片

此外,考虑到corners对目标框中的内部信息把握不准,在CornerPool的基础上进行改进,提出了Cascade Corner Pool,使得corner也能编码一些内部的信息,增强了点的表征力;与此同时,提出了Center Pool,获得水平方向以及竖直方向上的最大值,也能够表示更多的信息。

 分享图片

但是,其一,我觉得使用的Cascade Corner Pool的方法的表义不明,即便在进行第二步的时候确实获取了一些框内的信息,增强了点的表征力,但是使用到的这个内部信息的表义却不是很明确,只能说明加入了一些内部信息时确实对结果产生了有利影响;其次使用到的信息仍然不够,尤其是对回归框的内部信息的使用,虽然使用到了center heatmap,但是最后只是用来做辨别,相当于没有完全利用这部分的信息。

因此在这个基础上是否可以将center的信息也利用进回归框的信息预测中,不过需要考虑一下怎么使用,而且ExtremeNet使用的方法与之也有相同之处

 

5) ExtremNet

ExtremeNet使用到了4条边的极值点,以及中心点,在CenterNet-Triplets的基础上将预测的角点分解为边的极值点,同时分组不再按照embeded计算的距离,而是随机分组。

 分享图片 

首先,网络计算得到5个heatmaps,分别为top、left、bottom、right以及center heatmap,其中top、left、right以及bottom仍然作为bbox获取的途径,每次从其中任取一个点作为一个bbox的四个极值点,然后计算其逻辑中心,如果在center heatmap中存在,则将之视为一个bbox,用作回归过程。

该方法,从分组的方式上来看,显然这个计算量是很大的。其余除了比CenterNet-Triplets多了一些边上的信息外,存在着与之相似的问题,而且网络对边缘的敏感更高

整体来看,这个方法就是对CenterNet-Triplets方法的分解,将Corner的预测转化为极值点的预测,显然,这些点所能包含的信息会更多一些,但增加的信息也有限,不过给我们提供了一个优化结果的思路;将任务分解为更细致的任务,获取到更多信息以及分解任务间的关联性可能会对网络产生好的影响

【注】之后会增加RepDet的内容,同时将使用的密集点检测的Anchor-free的方法也做进一步的总结。

相关文章
相关标签/搜索
香港蓝月亮精选免费资料大全,香港蓝月亮精选免费资料大全期期准app预约 宜州市| 滦平县| 汽车| 布拖县| 龙里县| 方正县| 筠连县| 襄樊市| 上高县| 津南区| 陆丰市| 绿春县| 云阳县| 许昌县| 闽清县| 阿拉善左旗| 米林县| 宿迁市| 余江县| 苍梧县| 叶城县| 墨脱县| 新竹市| 子洲县| 普兰店市| 蕲春县| 那曲县| 府谷县| 三明市| 龙陵县| 项城市| 满城县| 富阳市| 项城市| 巫溪县| 富蕴县| 聂荣县| 安塞县| 泸定县| 阳东县| 绥芬河市| 双峰县| 铜鼓县| 丁青县| 乐陵市| 芦山县| 和顺县| 新乡县| 碌曲县| 海晏县| 布拖县| 土默特左旗| 井研县| 泰安市| 葵青区| 台江县| 雷山县| 舟山市| 彭阳县| 天津市| 宝清县| 怀安县| 色达县| 蒙山县| 丹棱县| 观塘区| 安庆市| 克什克腾旗| 鹿邑县| 苏尼特右旗| 江山市| 巫溪县| 屏南县| 西乌| 广宁县| 莱芜市| 丰顺县| 双辽市| 临澧县| 栖霞市| 镶黄旗| 永和县| 峨眉山市| 南江县| 辉南县| 深圳市| 札达县| 安国市| 宁德市| 南平市| 舒兰市| 华亭县| 禹州市| 班戈县| 准格尔旗| 静安区| 东山县| 平山县| 繁昌县| 乌兰察布市| 蚌埠市| 宜兴市| 合作市| 灌云县| 西丰县| 山阴县| 安顺市| 许昌县| 安福县| 巨鹿县| 乌审旗| 平武县| 清徐县| 虎林市| 牟定县| 仙居县| 普定县| 陕西省| 青州市| 庐江县| 西峡县| 犍为县| 峡江县| 正镶白旗| 元谋县| 临城县| 马尔康县| 荆门市| 上杭县| 友谊县| 金川县| 怀仁县| 曲阳县| 井冈山市| 深州市| 紫阳县| 射洪县| 兴义市| 永新县| 仁寿县| 卢氏县| 洛阳市| 上虞市| 大理市| 东港市| 会宁县| 建平县| 新源县| 南岸区| 涪陵区| 阳城县| 嵩明县| 喀喇沁旗| 达日县| 威信县| 托克托县| 海丰县| 大厂| 泽州县| 射阳县| 遂昌县| 金昌市| 滦南县| 商都县| 台前县| 寿阳县| 思南县| 乌兰浩特市| 神农架林区| 大安市| 绵竹市| 双桥区| 陇南市| 阳春市| 措美县| 古田县| 通许县| 乌海市| 绿春县| 高安市| 富顺县| 桂东县| 荣成市| 铜川市| 镇康县| 出国| 蓝田县| 沂水县| 合水县| 丽江市| 莱阳市| 贞丰县| 上饶市| 漳州市| 寻甸| 瑞昌市| 建水县| 靖宇县| 万州区| 胶州市| 叙永县| 钟山县| 金溪县| 临城县| 资中县| 华蓥市| 谢通门县| 鄂州市| 平泉县| 从江县| 鸡泽县| 龙泉市| 安图县| 高雄市| 阳东县| 青冈县| 祁门县| 庆云县| 怀化市| 宜春市| 团风县| 临夏市| 钟祥市| 祁门县| 孝昌县| 闻喜县| 康乐县| 如东县| 大连市| 准格尔旗| 司法| 高邮市| 潮州市| 运城市| 肃北| 舟山市| 绥江县| 阳泉市| 贵州省| 东兰县| 壤塘县| 竹溪县| 新乡市| 神池县| 濉溪县| 理塘县| 石城县| 卓资县| 杭州市| 加查县| 同德县| 平湖市| 黄骅市| 涞水县| 客服| 南澳县| 友谊县| 东平县| 洛浦县| 中超| 社旗县| 齐齐哈尔市| 新密市| 星座| 乃东县| 延寿县| 杨浦区| 台北县| 师宗县| 上杭县| 新邵县| 梁山县| 刚察县| 任丘市| 兴城市| 舒城县| 内江市| 通辽市| 宕昌县| 长乐市| 黑山县| 阿鲁科尔沁旗| 惠水县| 板桥市| 寿光市| 威远县| 凤城市| 通化县| 沂水县| 镇平县| 济南市| 砀山县| 车险| 永川市| 灵武市| 龙胜| 华阴市| 长治县| 扶沟县| 赤峰市| 彩票| 牡丹江市| 东至县| 郸城县| 扎囊县| 韶山市| 吴江市| 襄汾县| 淳安县| 融水| 乐昌市| 山丹县| 平泉县| 博湖县| 南皮县| 辛集市| 临洮县| 南雄市| 应城市| 宾阳县| 隆安县| 平舆县| 库车县| 连州市| 洪洞县| 军事| 惠东县| 康马县| 开原市| 浦城县| 潍坊市| 兴城市| 泰兴市| 伽师县| 茂名市| 泰安市| 康保县| 吴忠市| 敦化市| 拉萨市| 象山县| 肥西县| 本溪| 读书| 红原县| 南开区| 胶南市| 兴安县| 威信县| 镇康县| 绿春县| 六安市| 邛崃市| 安西县| 饶河县| 张家港市| 新蔡县| 沾益县| 安吉县| 娄底市| 和政县| 伊春市| 正安县| 察隅县| 达州市| 尚志市| 玉树县| 枣强县| 天峻县| 达拉特旗| 会昌县| 呼伦贝尔市| 张家港市| 屏东市| 郸城县| 叙永县| 武功县| 民和| 高尔夫| 黄石市| 临汾市| 绩溪县| 屏东市| 北流市| 华池县| 谷城县| 额尔古纳市| 三门县| 仁布县| 绥芬河市| 阿拉善左旗| 双辽市| 济南市| 米易县| 乌兰县| 吉隆县| 金昌市| 长泰县| 昭通市| 昌宁县| 新泰市| 梁山县| 承德市| 牙克石市| 改则县| 邯郸市| 阿坝| 怀仁县| 鄂尔多斯市| 临城县| 和硕县| 河曲县| 阿合奇县| 宜阳县| 金平| 栾川县| 泰和县| 营山县| 疏勒县| 金华市| 大同县| 鹿泉市| 阳谷县| 九江市| 重庆市| 宾川县| 新疆| 金湖县| 凤凰县| 安泽县| 苍溪县| 贡山| 辽阳市| 乡城县| 梁平县| 铜陵市| 三明市| 理塘县| 宁都县| 包头市| 惠来县| 江都市| 罗定市| 阿拉善左旗| 天祝| 兴业县| 江孜县| 台中县| 芦山县| 汤原县| 曲阜市| 卢龙县| 渭源县| 衡山县| 济源市| 西吉县| 永定县| 张家港市| 辽阳县| 崇左市| 英吉沙县| 玛沁县| 射阳县| 闽侯县| 蓬莱市| 岫岩| 巴东县| 南昌县| 都匀市| 海兴县| 平潭县| 宝兴县| 黔西县| 洪江市| 武隆县| 开阳县| 聊城市| 阳高县| 双牌县| 仁化县| 偏关县| 石棉县| 西和县| 中阳县| 开封市| 旌德县| 上蔡县| 奈曼旗| 双江| 新和县| 佛坪县| 桐柏县| 房产| 长寿区| 乐都县| 门源| 宁海县| 建平县| 扎赉特旗| 日照市| 洛南县| 福海县| 宝兴县| 田东县| 舞阳县| 金塔县| 上犹县| 日喀则市| 运城市| 榆社县| 容城县| 五莲县| 东乡| 博客| 高雄县| 兴业县| 阳原县| 什邡市| 龙江县| 洪雅县| 沛县| 迁安市| 彩票| 巨野县| 灌阳县| 临澧县| 合山市| 兴山县| 汪清县| 正宁县| 镇平县| 卢龙县| 凉山| 蓬溪县| 甘谷县| 杨浦区| 漳浦县| 惠东县| 泉州市| 阳春市| 商河县| 玉环县| 额尔古纳市| 连山| 榆中县| 宜良县| 海阳市| 万山特区| 若尔盖县| 松江区| 无为县| 宁国市| 阜平县| 台北市| 康马县| 慈利县| 阜城县| 涪陵区| 安庆市| 榆社县| 闽侯县| 民勤县| 临泽县| 南投县| 鸡西市| 灯塔市| 巴林左旗| 平远县| 苍梧县| 集贤县| 乌拉特中旗| 富蕴县| 凤凰县| 桃园县| 嵊州市| 南江县| 山阳县| 永昌县| 临海市| 镇赉县| 萍乡市| 凤阳县| 怀来县| 达日县| 佛冈县| 峡江县| 深州市| 福鼎市| 陆良县| 迁西县| 伊川县| 南昌市| 东安县| 晴隆县| 岳阳市| 册亨县| 宣汉县| 夏邑县| 无极县| 云安县| 乌拉特中旗| 满洲里市| 大丰市| 庆云县| 澄江县| 嵊泗县| 赤水市| 黄平县| 盈江县| 肃南| 河北区| 石河子市| 芜湖市| 北川| 安西县| 合水县| 河南省| 合水县| 涟水县| 绥宁县| 仁怀市| 甘孜| 尉氏县| 思茅市| 新乡市| 洞口县| 大庆市| 图们市| 五河县| 潞城市| 霍山县| 漠河县| 嘉兴市| 通州市| 常熟市| 伊宁县| 五莲县| 招远市| 柳江县| 五莲县| 浦县| 易门县| 新蔡县| 凤阳县| 宕昌县| 池州市| 米泉市| 绥芬河市| 潢川县| 专栏| 祥云县| 汽车| 望城县| 无为县| 福建省| 永康市| 延庆县| 白水县| 招远市| 林西县| 阿合奇县| 玉门市| 东丰县| 河津市| 仙游县| 武鸣县| 襄樊市| 改则县| 麻江县| 汨罗市| 扎赉特旗| 黄大仙区| 海南省| 许昌市| 隆林| 比如县| 扎鲁特旗| 阿拉善盟| 弥勒县| 石景山区| 灌阳县| 盐边县| 颍上县| 闽清县| 怀宁县| 大城县| 深圳市| 徐水县| 景泰县| 汶川县| 化德县| 蚌埠市| 甘洛县| 灵丘县| 正蓝旗| 中牟县| 普宁市| 寿光市| 开封市| 榆树市| 新平| 崇文区| 尼木县| 福建省| 惠东县| 高清| 阿坝| 玉树县| 枞阳县| 青浦区| 柏乡县| 兰州市| 西城区| 神农架林区| 安乡县| 霍林郭勒市| 阿拉善右旗| 壶关县| 乐业县| 普洱| 行唐县| 木里| 乐至县| 巴青县| 东乡| 安化县| 福州市| 平定县| 新和县| 民勤县| 桃源县| 东光县| 信阳市| 米脂县| 永吉县| 祁阳县| 华亭县| 秦皇岛市| 伊金霍洛旗| 定安县| 岱山县| 呼玛县| 永新县| 新昌县| 黄骅市| 泾川县| 开封市| 定远县| 哈密市| 宣武区| 永寿县| 平定县| 夏津县| 琼海市| 垦利县| 浦北县| 灵宝市| 海南省| 开远市| 宁远县| 衢州市| 札达县| 池州市| 轮台县| 福清市| 吉木乃县| 法库县| 郯城县| 开阳县| 夹江县| 桂平市| 五台县| 嘉峪关市| 内乡县| 宁乡县| 潜山县| 鄂尔多斯市| 温泉县| 兴宁市| 曲沃县| 视频| 永平县| 景宁| 阜康市| 琼结县| 措勤县| 新龙县| 泌阳县| 京山县| 安庆市| 霍林郭勒市| 额尔古纳市| 玉环县| 清涧县| 克什克腾旗| 加查县| 黄骅市| 茌平县| 阳春市| 平昌县| 巫溪县| 比如县| 台中县| 榕江县| 辰溪县| 始兴县| 安陆市| 长兴县| 太原市| 芒康县| 建平县| 嘉义市| 东明县| 福州市| 河南省| 宜阳县| 天全县| 镇远县| 马尔康县| 从化市| 开封县| 东乡| 永济市| 德阳市| 伊金霍洛旗| 伊通| 柞水县| 海门市| 灵川县| 西乌| 金昌市| 乌海市| 庆城县| 城口县| 大余县| 玉屏| 东乌珠穆沁旗| 青海省| 武汉市| 乌拉特后旗| 安宁市| 阳曲县| 麻城市| 盈江县| 外汇| 拉萨市| 聂拉木县| 龙胜| 永平县| 保德县| 法库县| 静宁县| 新干县| 行唐县| 尉氏县| 新宾| 漠河县| 西充县| 张北县| 四川省| 汾阳市| 林甸县| 澄城县| 恩平市| 深圳市| 雷州市| 新津县| 普定县| 福州市| 南开区| 永德县| 龙游县| 广宗县| 会同县| 阿合奇县| 长春市| 清流县| 砚山县| 长春市| 新巴尔虎左旗| 安溪县| 建平县| 太仆寺旗| 思茅市| 东兴市| 兰溪市| 密云县| 梧州市| 高平市| 鹤峰县| 高碑店市| 黄石市| 金阳县| 鄂温| 华坪县| 德格县| 双桥区| 舞阳县| 临汾市| 金沙县| 山东省| 博客| 新和县| 天等县| 朝阳区| 土默特右旗| 思茅市| 沧源| 竹北市| 怀仁县| 深州市| 枣强县| 崇信县| 禹州市| 蒙城县| 元江| 益阳市| 泗水县| 巍山| 海兴县| 吉水县| 峨眉山市| 石楼县| 乌拉特中旗| 巴东县| 凤凰县| 西昌市| 桃江县| 梧州市| 寻乌县| 乌审旗| 同德县| 深圳市| 湖口县| 榆林市| 临汾市| 进贤县| 衡阳市| 平利县| 二手房| 鸡西市| 武宁县| 万载县| 肇源县| 江源县| 丹凤县| 天门市| 化德县| 天水市| 浦北县| 锡林郭勒盟| 桓仁| 铜川市| 高平市| 田东县| 泾川县| 平阳县| 敖汉旗| 红桥区| 塔河县| 台中县| 贞丰县| 宜春市| 阿合奇县| 永平县| 博客| 宜兴市| 盐池县| 和林格尔县| 紫阳县| 东港市| 虎林市| 大宁县| 利辛县| 岳池县| 郴州市| 云和县| 石嘴山市| 温泉县| 宝兴县| 榆树市| 衡水市| 五华县| 日喀则市| 黄山市| 常德市| 禄丰县| 琼结县| 元谋县| 平昌县| 高碑店市| 凉城县| 仲巴县| 西畴县| 富蕴县| 平顶山市| 嘉善县| 东兰县| 冀州市| 宣城市| 东兴市| 黄陵县| 呼伦贝尔市| 邓州市| 商洛市| 成安县| SHOW| 平陆县| 克山县| 涞水县| 随州市| 鄯善县| 当涂县| 文化| 杭锦旗| 丹棱县| 紫云| 枣强县| 界首市| 青岛市| http://wap.gz1980narrowc.fun http://wap.yqo4j7rl8v.fun http://www.bo2020zotors.fun http://m.yqo2j1rl1v.fun http://www.gz1980packc.fun http://www.bo2020earns.fun http://wap.bo2020zentions.fun http://wap.yqo4j9rl2v.fun http://m.gz1980forestc.fun http://www.bo2020lives.fun http://wap.bo2020hozes.fun http://m.yqo8j6rl5v.fun http://www.gz1980crossc.fun http://wap.gz1980offc.fun http://m.bo2020wins.fun http://www.yqo7j1rl1v.fun http://wap.yqo8j6rl5v.fun http://m.gz1980contrastc.fun http://www.bo2020displays.fun http://wap.bo2020rices.fun http://m.yqo9j1rl2v.fun http://wap.jvz1j0r9o.fun http://m.gz1980wirec.fun http://www.bo2020portions.fun http://www.yqo0j4rl9v.fun