基于深度学习的无信标自动追踪工具
对于动物行为研究，特别是运动模式的分析很大程度上依赖于研究人员的人工观察和分析。但研究人员近日开发的新工具有望能够为研究人员们提供省时省力的新方法来对动物的行为进行持续的自动观测。
来自哈佛大学的科学家与合作伙伴研发出了基于深度学习的无信标自动追踪工具，可以在视频中持续追踪动物及其身上特征点的运动，并达到了人类的精度水平。近日研究发表在了自然神经科学的杂志上。
在神经科学中，定量的行为观察对于很多方面都是至关重要的。虽然摄像机为人们提供了一种便捷的手段来对动物进行观察，提取特定行为并进行进一步分析常常是耗时耗力的工作。为了定量的监控，研究对象通常会被打上一定的信标来实现自动追踪，但很多情况下信标具有侵入性和缺乏灵活性等缺点。为了解决这些问题，研究人员们利用深度网络从视频中实现了动物行为的无信标追踪，并达到了人类的精度水平。
通过构建深度网络和数据集，研究人员们成功训练出了一个可以从视频中抽取身体特定部分位置的模型。研究人员门分别标注了图像中的roi区域和每个区域中的关节作为输入特征。神经网络使用预训练的resnet-50最为主体抽取特征，最后通过训练解卷积网络来对于身体位置的预测。
研究人员表示，这一方法甚至只需要标注约200张对应的图像就可以达到很好的精度，并且可以将精度控制在几个像素的范围内。
利用1080tigpu，这一工具可以再682*540的图像上实现30hz的速度，并在分辨率更低的204*162像素上达到了85hz的速度。
这种方法还可以广泛用于多种动物和场景下。研究人员利用四个实验探索了网络功能的有效性。
首先在彩色图像中对马儿的身体关键点进行了检测和追踪。研究显示网络对于不同颜色、不同视角和速度下的马都有着较强的追踪性能。
除此之外，研究人员还将这一方法应用于老鼠的步态研究上，下图显示了老鼠在跑轮上运动的场景。模型被用于从侧面和地面同时检测和跟踪运动。右图显示了模型对于电动鱼身体关键点的追踪。可以看到无论是对不同场景视角还是不同的物种，都可以得到良好的效果。
除了动物之外，这一网络还可以用于追踪人类行为及其三维位置。研究人员训练了三个视角下的追踪网络，并将得到的数据通过投影矩阵重构目标对象的3d运动坐标，实现了三维目标检测与跟踪。
值得一提的是，这一研究团队来自哈佛大学rowland institute, adaptive motor control实验室，长期致力于深入理解神经系统的自适应运动控制。
或许这种方法除了用于动物行为追踪外，还可以用于机器人及其执行器的末端追踪，为抓取、放置的任务提供额外的信息。如果你想详细了解这项研究，请参阅nature的研究内容：
https://www.nature.com/articles/s41593-018-0209-y
作者也发布了deeplabcut的代码，有兴趣的小伙伴似乎可以为自家的狗子/猫写一个行为追踪程序，研究它们每天的活动规律呢~代码地址：
https://github.com/alexemg/deeplabcut
作者在这里给出了详细的安装、配置、使用和标注教程：
https://alexemg.github.io/deeplabcut/docs/demo-guide.html
（代码主要基于tensorflow构建，包含了分析、测评工具和对应的文档。构建网络的核心代码位于deeplabcut/pose-tensorflow/pose_net.py的posenet类中。）
实验室主页：
https://www.mousemotorlab.org/deeplabcut/
群创光电与CLT合作,将玻璃切割技术用于车用触控面板上
realme首款真无线耳机佩戴图晒出，将于12月17日在印度发布
低噪声放大器校准原理_低噪声放大器特点和应用
血流检测仪的工作原理及适用范围
2018世界物联网博览会在无锡开幕
基于深度学习的无信标自动追踪工具
应用系统应该使用哪种物联网协议
IDC预测：2020年智能手表将占据可穿戴设备市场的一半
基于生物识别的身份验证解决方案
美国银行官员表示加密货币正阻碍当局抓捕犯罪分子
Metal Mesh触控技术原理以及限制因素
优恩|ESD二极管DFN0603封装系列便携产品应用
岚图FREE能否打响东风集团新能源领域的“头炮”？
ARM数据和计算的共生增长将带来巨大机遇
苹果带动 UWM 超宽带产业的发展，却没有兴趣加入 UWB 联盟
超越索尼夏普，海信系电视上半年销量居日本第一
太阳能无线骨传导耳机制作图解
L-com诺通推出适用于实验室测试和测量应用的可定型同轴线缆组件
以技术创新成就国人骄傲 宇电缔造仪器仪表新辉煌
电缆烧焦的原因是什么，该如何避免这种情况的发生
来自哈佛大学的科学家与合作伙伴研发出了基于深度学习的无信标自动追踪工具，可以在视频中持续追踪动物及其身上特征点的运动，并达到了人类的精度水平。近日研究发表在了自然神经科学的杂志上。
在神经科学中，定量的行为观察对于很多方面都是至关重要的。虽然摄像机为人们提供了一种便捷的手段来对动物进行观察，提取特定行为并进行进一步分析常常是耗时耗力的工作。为了定量的监控，研究对象通常会被打上一定的信标来实现自动追踪，但很多情况下信标具有侵入性和缺乏灵活性等缺点。为了解决这些问题，研究人员们利用深度网络从视频中实现了动物行为的无信标追踪，并达到了人类的精度水平。
通过构建深度网络和数据集，研究人员们成功训练出了一个可以从视频中抽取身体特定部分位置的模型。研究人员门分别标注了图像中的roi区域和每个区域中的关节作为输入特征。神经网络使用预训练的resnet-50最为主体抽取特征，最后通过训练解卷积网络来对于身体位置的预测。
研究人员表示，这一方法甚至只需要标注约200张对应的图像就可以达到很好的精度，并且可以将精度控制在几个像素的范围内。
利用1080tigpu，这一工具可以再682*540的图像上实现30hz的速度，并在分辨率更低的204*162像素上达到了85hz的速度。
这种方法还可以广泛用于多种动物和场景下。研究人员利用四个实验探索了网络功能的有效性。
首先在彩色图像中对马儿的身体关键点进行了检测和追踪。研究显示网络对于不同颜色、不同视角和速度下的马都有着较强的追踪性能。
除此之外，研究人员还将这一方法应用于老鼠的步态研究上，下图显示了老鼠在跑轮上运动的场景。模型被用于从侧面和地面同时检测和跟踪运动。右图显示了模型对于电动鱼身体关键点的追踪。可以看到无论是对不同场景视角还是不同的物种，都可以得到良好的效果。
除了动物之外，这一网络还可以用于追踪人类行为及其三维位置。研究人员训练了三个视角下的追踪网络，并将得到的数据通过投影矩阵重构目标对象的3d运动坐标，实现了三维目标检测与跟踪。
值得一提的是，这一研究团队来自哈佛大学rowland institute, adaptive motor control实验室，长期致力于深入理解神经系统的自适应运动控制。
或许这种方法除了用于动物行为追踪外，还可以用于机器人及其执行器的末端追踪，为抓取、放置的任务提供额外的信息。如果你想详细了解这项研究，请参阅nature的研究内容：
https://www.nature.com/articles/s41593-018-0209-y
作者也发布了deeplabcut的代码，有兴趣的小伙伴似乎可以为自家的狗子/猫写一个行为追踪程序，研究它们每天的活动规律呢~代码地址：
https://github.com/alexemg/deeplabcut
作者在这里给出了详细的安装、配置、使用和标注教程：
https://alexemg.github.io/deeplabcut/docs/demo-guide.html
（代码主要基于tensorflow构建，包含了分析、测评工具和对应的文档。构建网络的核心代码位于deeplabcut/pose-tensorflow/pose_net.py的posenet类中。）
实验室主页：
https://www.mousemotorlab.org/deeplabcut/
群创光电与CLT合作,将玻璃切割技术用于车用触控面板上
realme首款真无线耳机佩戴图晒出，将于12月17日在印度发布
低噪声放大器校准原理_低噪声放大器特点和应用
血流检测仪的工作原理及适用范围
2018世界物联网博览会在无锡开幕
基于深度学习的无信标自动追踪工具
应用系统应该使用哪种物联网协议
IDC预测：2020年智能手表将占据可穿戴设备市场的一半
基于生物识别的身份验证解决方案
美国银行官员表示加密货币正阻碍当局抓捕犯罪分子
Metal Mesh触控技术原理以及限制因素
优恩|ESD二极管DFN0603封装系列便携产品应用
岚图FREE能否打响东风集团新能源领域的“头炮”？
ARM数据和计算的共生增长将带来巨大机遇
苹果带动 UWM 超宽带产业的发展，却没有兴趣加入 UWB 联盟
超越索尼夏普，海信系电视上半年销量居日本第一
太阳能无线骨传导耳机制作图解
L-com诺通推出适用于实验室测试和测量应用的可定型同轴线缆组件
以技术创新成就国人骄傲 宇电缔造仪器仪表新辉煌
电缆烧焦的原因是什么，该如何避免这种情况的发生