摘要:我们使用大量未标注视频在没有人类监督的条件下学习视觉追

作者:admin 来源:未知 点击数: 发布时间:2018年09月07日

  虽然这个着色模子并没有超越强监视模子,但它能够进修追踪视频朋分和人类姿势,且超越了比来呈现的基于光流的方式 FlowNet 2.0。打破活动类型达到的高机能表白该模子在良多天然复杂度场景(例如动态布景、快速活动和遮挡)下比光流方式愈加鲁棒。

  研究者发觉该模子也能够在给定初始帧环节点时追踪人类姿势。他们在公开学法术据集 JHMDB 上展现告终果,此中模子追踪的是人类关节骨架。

  因为该模子是在大量未标凝视频上锻炼的,研究者但愿深切领会模子的进修过程。下方的视频展现了一个尺度的追踪过程:通过 PCA 将模子学得的嵌入投影到三维空间进行可视化,并做成 RGB 影片的形式。成果表白进修到的嵌入空间的比来邻倾向于对应方针标识(object identity),即便颠末变形或视角改变。

  为了锻炼系统,谷歌研究人员操纵 Kinetics 数据集中的视频,该数据集是一个日常勾当视频的大型开放调集。谷歌研究人员将所有视频帧转换成灰度图像(除了第一帧),然后锻炼一个卷积收集预测后续帧的原始颜色。研究人员期望模子学会追踪视频区域,以精确恢回复复兴始颜色。其次要观测成果是追踪着色对象的需求使我们获得主动进修追踪对象的模子。

  在谷歌比来提交的论文《Tracking Emerges by Colorizing Videos》中,研究人员引入了一种为灰度视频着色的卷积神经收集,但它只需要参考单帧已着色的参考图像,并复制参考帧的颜色。在新方式中,树脂上色模型神经收集能够主动无监视地对物体进行视觉追踪。更主要的是,虽然模子并未明白地为方针追踪进行锻炼,但它仍然能够追踪多个方针、追踪被遮挡的方针、并顺应方针的变形连结不变追踪——这并不需要任何颠末标注的锻炼数据。

  原题目:学界 进修一帧,为整段口角视频上色:谷歌提出自监视视觉追踪模子 选自Google AI

  摘要:我们利用大量未标凝视频在没有人类监视的前提下进修视觉追踪模子。我们操纵颜色的天然时间分歧性来建立模子,该模子能进修通过从一个参考帧复制颜色来对灰度视频着色。定量和定性尝试表白这个使命能让模子主动学会追踪视觉区域。虽然该模子没有用任何真值标签锻炼,但我们的方式可以或许很好地实现追踪并超越基于光流的方式。最初,我们的成果表白追踪失败的缘由和着色失败相关,这意味着改良视频着色也许能进一步提拔自监视视觉追踪。

  谷歌研究人员假设颜色的时间分歧性为教机械追踪视频区域供给了优良的大规模锻炼数据。很较着,总有破例,即颜色不具备时间分歧性(如俄然开灯)的环境,可是凡是颜色不会跟着时间而改变。此外,大部门视频都包含颜

(编辑:admin)
http://topwinsafety.cn/shuzhichen/522/