CNN与RNN对比 CNN+RNN组合方式
cnn和rnn几乎占据着深度学习的半壁江山，所以本文将着重讲解cnn+rnn的对比，以及各种组合方式。
一、cnn与rnn对比
1. cnn卷积神经网络与rnn递归神经网络直观图
2. 相同点：
传统神经网络的扩展。
前向计算产生结果，反向计算模型更新。
每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。
3. 不同点
cnn空间扩展，神经元与特征卷积;rnn时间扩展，神经元与多个时间输出计算
rnn可以用于描述时间上连续状态的输出，有记忆功能，cnn用于静态输出
cnn高级100+深度，rnn深度有限
二、cnn+rnn组合方式
1. cnn 特征提取，用于rnn语句生成图片标注。
2. rnn特征提取用于cnn内容分类视频分类。
3. cnn特征提取用于对话问答图片问答。
三、具体应用
1. 图片标注
基本思路：
目标是产生标注的语句，是一个语句生成的任务，lstm?
描述的对象大量图像信息，图像信息表达，cnn?
cnn网络中全连接层特征描述图片，特征与lstm输入结合。
具体步骤：
(1) 模型设计-特征提取
全连接层特征用来描述原图片
lstm输入：word+图片特征;输出下一word。
(2) 模型设计-数据准备
图片cnn特征提取
图片标注生成word2vect 向量
生成训练数据：图片特征+第n单词向量：第n+1单词向量。
(3) 模型训练：
运用迁移学习，cnn特征，语句特征应用已有模型
最终的输出模型是lstm，训练过程的参数设定：梯度上限(gradient clipping), 学习率调整(adaptivelearning)
训练时间很长。
(4) 模型运行：
cnn特征提取
cnn 特征+语句开头，单词逐个预测
2. 视频行为识别 ：
视频中在发 生什么?
常用方法总结：
(1) rnn用于cnn特征融合：
cnn 特征提取
lstm判断
多次识别结果分析。
不同的特征不同输出。
或者：所有特征作为一个输出。
(2) rnn用于cnn特征筛选+融合：
并不是所有的视频 图像包含确定分类信息
rnn用于确定哪些frame 是有用的
对有用的图像特征 融合。
(3) rnn用于目标检测：
cnn直接产生目标候选区
lstm对产生候选区融合(相邻时刻位置近 似)
确定最终的精确位置。
(4) 多种模型综合：应用中，为了产生***结果，多采用多模型ensemble形式。
教育部正式设立虚拟现实应用技术专业
关于大模型在软件测试领域应用的全面综述
Git的工作原理和基本用法
电脑主板适用类型
智能家居全屋搭建前期准备——全屋无线网络覆盖
CNN与RNN对比 CNN+RNN组合方式
虚拟货币的资产安全谁可以保障
关于防火门及防火卷帘门的安装规定归纳
485/232转4-20mA/0-10v模拟量采集转换模块
微软Xbox Series X新特性，支持快速恢复功能
1210封装尺寸
天妒英才:骁龙653+6G运存+4060毫安,酷派新机酷玩6却无人问津
2019强势来临，新的一年“智能”这样过！
解读同步器构造及工作原理
瑞士联邦主席表示瑞士不反对华为参加相关5G的网络建设
基于STM32F407和MAX7349的超短波电台模拟训练系统设计与实现
GPGPU和NPU技术路线对比
比特币二层网络闪电网络技术的发展介绍
【新品】自动组网低功耗射频模块
世界先进预期2024年第一季度运营将伴随着产业复苏
一、cnn与rnn对比
1. cnn卷积神经网络与rnn递归神经网络直观图
2. 相同点：
传统神经网络的扩展。
前向计算产生结果，反向计算模型更新。
每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。
3. 不同点
cnn空间扩展，神经元与特征卷积;rnn时间扩展，神经元与多个时间输出计算
rnn可以用于描述时间上连续状态的输出，有记忆功能，cnn用于静态输出
cnn高级100+深度，rnn深度有限
二、cnn+rnn组合方式
1. cnn 特征提取，用于rnn语句生成图片标注。
2. rnn特征提取用于cnn内容分类视频分类。
3. cnn特征提取用于对话问答图片问答。
三、具体应用
1. 图片标注
基本思路：
目标是产生标注的语句，是一个语句生成的任务，lstm?
描述的对象大量图像信息，图像信息表达，cnn?
cnn网络中全连接层特征描述图片，特征与lstm输入结合。
具体步骤：
(1) 模型设计-特征提取
全连接层特征用来描述原图片
lstm输入：word+图片特征;输出下一word。
(2) 模型设计-数据准备
图片cnn特征提取
图片标注生成word2vect 向量
生成训练数据：图片特征+第n单词向量：第n+1单词向量。
(3) 模型训练：
运用迁移学习，cnn特征，语句特征应用已有模型
最终的输出模型是lstm，训练过程的参数设定：梯度上限(gradient clipping), 学习率调整(adaptivelearning)
训练时间很长。
(4) 模型运行：
cnn特征提取
cnn 特征+语句开头，单词逐个预测
2. 视频行为识别 ：
视频中在发 生什么?
常用方法总结：
(1) rnn用于cnn特征融合：
cnn 特征提取
lstm判断
多次识别结果分析。
不同的特征不同输出。
或者：所有特征作为一个输出。
(2) rnn用于cnn特征筛选+融合：
并不是所有的视频 图像包含确定分类信息
rnn用于确定哪些frame 是有用的
对有用的图像特征 融合。
(3) rnn用于目标检测：
cnn直接产生目标候选区
lstm对产生候选区融合(相邻时刻位置近 似)
确定最终的精确位置。
(4) 多种模型综合：应用中，为了产生***结果，多采用多模型ensemble形式。
教育部正式设立虚拟现实应用技术专业
关于大模型在软件测试领域应用的全面综述
Git的工作原理和基本用法
电脑主板适用类型
智能家居全屋搭建前期准备——全屋无线网络覆盖
CNN与RNN对比 CNN+RNN组合方式
虚拟货币的资产安全谁可以保障
关于防火门及防火卷帘门的安装规定归纳
485/232转4-20mA/0-10v模拟量采集转换模块
微软Xbox Series X新特性，支持快速恢复功能
1210封装尺寸
天妒英才:骁龙653+6G运存+4060毫安,酷派新机酷玩6却无人问津
2019强势来临，新的一年“智能”这样过！
解读同步器构造及工作原理
瑞士联邦主席表示瑞士不反对华为参加相关5G的网络建设
基于STM32F407和MAX7349的超短波电台模拟训练系统设计与实现
GPGPU和NPU技术路线对比
比特币二层网络闪电网络技术的发展介绍
【新品】自动组网低功耗射频模块
世界先进预期2024年第一季度运营将伴随着产业复苏