物件检测的模型训练与优化-2
当前面的准备工作都已妥善之后，就可以进入模型训练的步骤，后面的工作就是计算设备的事情了。
4、 执行 TAO 模型训练：
TAO 工具提供提供 QAT (Quantize Aware Training) 量化感知的训练模式，不过目前 QAT 效果还在验证当中，倒也不急于使用，因此我们还是以标准模式来训练，就是将配置文件中 training_config 设置组的 “enable_qat” 参数设为 “false” 就行，然后直接执行指令块的命令，TAO 就会启动视觉类容器来执行模型训练任务。
这里提供两组执行训练所花费的时间参考数据：
为了更有效率地执行，我们可以在training_config设置组里添加 “checkpoint_interval: 10” 参数，这样每 10 回合生成一个中间文件，这样能节省大约 7GB 的空间。现在检查一下所生成的中间模型文件，如下图所示总共 8 个。
接下去我们看看这 8 个模型的训练效果如何，因为得挑一个精确度 (mAP) 最好的文件，进行后面的修剪任务。
通常越后面的模型 mAP 值越高，但这不是绝对的，最好是有明确的数据来做依据，才是比较科学的态度。在 experiment_dir_unpruned/ssd_training_log_resnet18.csv 提供这些记录，右键点击文件 -> Open With-> CSVTable 之后，就会看到如下图的内容。
表中可以看到，越下面模型的 mAP 值越高，这样就能明确的选择 “epoch_080” 的模型来进行后续工作，记得在 “%set_env EPOCH=” 后面填入参数值，例如要选择第 80 回合的模型文件，就输入 “080”，然后继续往下进行。
5、评估模型好的训练：
这个步骤的目的是为了确认模型是否符合要求？有时候可能效果最好的模型，效果还未达到预期目标，如果是这样的话，就得回到第 4 步骤，以前面找到效果最好的模型，作为迁移选项的预训练模型，就是将配置文件的 training_config 设置组的 “pretrain_model_path” 改成 ssd_resnet18_epoch_080.tlt 的完整路径，然后再做 80 回合的训练。
执行评估效果的结构在本指令块输出的最下方，如下图所示。
比对一下这里显示的精准度，与前面 ssd_training_log_resnet18.csv 记录的结果是相同的，其实这个步骤是有点冗余，可以忽略！
6、修剪模型：
如果您的模型要放在计算资源充沛的设备上执行推理的话，其实后面的步骤是可以省略的，因此修剪模型的目的，是要在精确度维持水平的基础上将模型进行优化，这对 Jetson 这类计算资源吃紧的边缘设备来说就非常重要，因为这对推理性能有很大的影响，因此要看您所需要执行推理的设备是什么，再决定是否要进行修剪。
每个神经网络都有各自的修剪重点，必须找到对应的说明文件，例如这里对ssd进行修剪，请访问 https://docs.nvidia.com/tao/tao-toolkit/text/object_detection/ssd.html ，在里面的 “Pruning the Model” 有非常详细的参数说明。
TAO 提供以下 6 种模型修剪的方式，设定值的粗体字为预设值：
在大家还不熟悉这些参数用法时，最简单的方法就是调整阈值 (-pth) 的大小去找到平衡点，通常这个值越高就会损失较大的精度值，模型也会比较更小大。参数预设值为 0.1，差不多达 0.3 已经是极限，再大可能就会让精准度低于一般要求。
这个步骤会用到 ssd_train_resnet18_kitti.txt 配置文件，修剪完的模型会存放在 -o参数所指定的目录，这里是 “$USER_EXPERIMENT_DIR/experiment_dir_pruned”，输出的模型文件名为 “ssd_resnet18_pruned.tlt”，后面的“重新训练剪裁模型”步骤，就会以这个文件作为迁移学习的训练基础。
这个修剪过的模型文件还不能作为部署用途，还得经过下个步骤去重新训练之后，是我们最终所需要的版本。
7、重新训练修剪过的模型：
这个步骤与前面的模型训练几乎是一样的，唯一不同的地方就是前面以 NCG 下载的 resnet_18.hdf5 为基础导入迁移学习的功能，这里是以 ssd_resnet18_pruned.tlt 这个修剪过的文件为基础，同样用最前面的数据集进行训练。
以这个项目为例，未剪裁模型的大小为 101.7MB，用阈值为 0.1 所剪裁的重新训练模型大小只剩 22.5MB、阈值为 0.3 所剪裁的模型大小只剩 9.8MB。重新训练后同样会生成很多模型文件，同样查看 experiment_dir_retrain 目录下面的 ssd_training_log_resnet18.csv，挑出精度最好的一个准备下个评估环节。
8、评价重新训练的模型：
与前面的评估方式一样，找到效果最好的一个，然后将数值填入 “%set_envEPOCH=” 里，准备在训练设备上测试一下推理的效果。
如果修剪后重新训练的模型精度与未修剪的相差不多，这个模型就可以用来作为后面的推理测试，如果精度差距较大，就得回到第 6 步骤重新执行修剪工作与第 7 步骤重新训练，一直到获得满意精度的模型为止。
4、 执行 TAO 模型训练：
TAO 工具提供提供 QAT (Quantize Aware Training) 量化感知的训练模式，不过目前 QAT 效果还在验证当中，倒也不急于使用，因此我们还是以标准模式来训练，就是将配置文件中 training_config 设置组的 “enable_qat” 参数设为 “false” 就行，然后直接执行指令块的命令，TAO 就会启动视觉类容器来执行模型训练任务。
这里提供两组执行训练所花费的时间参考数据：
- NVIDIA Qudra RTX A4000/16GB 显存：48 秒/回合
- NVIDIA RTX-2070/16GB 显存：67 秒/回合
- 两张卡一起训练：40 秒/回合
为了更有效率地执行，我们可以在training_config设置组里添加 “checkpoint_interval: 10” 参数，这样每 10 回合生成一个中间文件，这样能节省大约 7GB 的空间。现在检查一下所生成的中间模型文件，如下图所示总共 8 个。
接下去我们看看这 8 个模型的训练效果如何，因为得挑一个精确度 (mAP) 最好的文件，进行后面的修剪任务。
通常越后面的模型 mAP 值越高，但这不是绝对的，最好是有明确的数据来做依据，才是比较科学的态度。在 experiment_dir_unpruned/ssd_training_log_resnet18.csv 提供这些记录，右键点击文件 -> Open With-> CSVTable 之后，就会看到如下图的内容。
表中可以看到，越下面模型的 mAP 值越高，这样就能明确的选择 “epoch_080” 的模型来进行后续工作，记得在 “%set_env EPOCH=” 后面填入参数值，例如要选择第 80 回合的模型文件，就输入 “080”，然后继续往下进行。
5、评估模型好的训练：
这个步骤的目的是为了确认模型是否符合要求？有时候可能效果最好的模型，效果还未达到预期目标，如果是这样的话，就得回到第 4 步骤，以前面找到效果最好的模型，作为迁移选项的预训练模型，就是将配置文件的 training_config 设置组的 “pretrain_model_path” 改成 ssd_resnet18_epoch_080.tlt 的完整路径，然后再做 80 回合的训练。
执行评估效果的结构在本指令块输出的最下方，如下图所示。
比对一下这里显示的精准度，与前面 ssd_training_log_resnet18.csv 记录的结果是相同的，其实这个步骤是有点冗余，可以忽略！
6、修剪模型：
如果您的模型要放在计算资源充沛的设备上执行推理的话，其实后面的步骤是可以省略的，因此修剪模型的目的，是要在精确度维持水平的基础上将模型进行优化，这对 Jetson 这类计算资源吃紧的边缘设备来说就非常重要，因为这对推理性能有很大的影响，因此要看您所需要执行推理的设备是什么，再决定是否要进行修剪。
每个神经网络都有各自的修剪重点，必须找到对应的说明文件，例如这里对ssd进行修剪，请访问 https://docs.nvidia.com/tao/tao-toolkit/text/object_detection/ssd.html ，在里面的 “Pruning the Model” 有非常详细的参数说明。
TAO 提供以下 6 种模型修剪的方式，设定值的粗体字为预设值：
- 标准化器 (normalizer)：使用参数 -n，设定值为 “max/L2”；
- 均衡器 (equalization_criterion)：使用参数 -eq，设定值为 “union/ intersection/ arithmetic_mean/geometric_mean”；
- 修剪粒度 (pruning_granularity)：使用参数 -pq，设定值为正整数，预设值为 8；
- 修剪阈值 (pruning threshold)：使用参数 -pth，设定值为小于 1 的浮点数，预设值为 0.1；
- 最小数量过滤器 (min_num_filters)：使用参数 -nf，设定值为正整数，预设值为 16；
- 排除层 (excluded_layers)：使用参数 -el，设定值为正整数，预设值为空值（不排除）。
在大家还不熟悉这些参数用法时，最简单的方法就是调整阈值 (-pth) 的大小去找到平衡点，通常这个值越高就会损失较大的精度值，模型也会比较更小大。参数预设值为 0.1，差不多达 0.3 已经是极限，再大可能就会让精准度低于一般要求。
这个步骤会用到 ssd_train_resnet18_kitti.txt 配置文件，修剪完的模型会存放在 -o参数所指定的目录，这里是 “$USER_EXPERIMENT_DIR/experiment_dir_pruned”，输出的模型文件名为 “ssd_resnet18_pruned.tlt”，后面的“重新训练剪裁模型”步骤，就会以这个文件作为迁移学习的训练基础。
这个修剪过的模型文件还不能作为部署用途，还得经过下个步骤去重新训练之后，是我们最终所需要的版本。
7、重新训练修剪过的模型：
这个步骤与前面的模型训练几乎是一样的，唯一不同的地方就是前面以 NCG 下载的 resnet_18.hdf5 为基础导入迁移学习的功能，这里是以 ssd_resnet18_pruned.tlt 这个修剪过的文件为基础，同样用最前面的数据集进行训练。
以这个项目为例，未剪裁模型的大小为 101.7MB，用阈值为 0.1 所剪裁的重新训练模型大小只剩 22.5MB、阈值为 0.3 所剪裁的模型大小只剩 9.8MB。重新训练后同样会生成很多模型文件，同样查看 experiment_dir_retrain 目录下面的 ssd_training_log_resnet18.csv，挑出精度最好的一个准备下个评估环节。
8、评价重新训练的模型：
与前面的评估方式一样，找到效果最好的一个，然后将数值填入 “%set_envEPOCH=” 里，准备在训练设备上测试一下推理的效果。
如果修剪后重新训练的模型精度与未修剪的相差不多，这个模型就可以用来作为后面的推理测试，如果精度差距较大，就得回到第 6 步骤重新执行修剪工作与第 7 步骤重新训练，一直到获得满意精度的模型为止。
上一节
物件检测的模型训练与优化
物件检测的模型训练与优化
微信分享
评论评论:
相关文章
Jetbot基础教程-图像回归法实现循路功能
如果要面向“赛道”类的竞速型的循路应用，那么 Jetbot 范例中的 road_following 项目会更加适合，这个项目使用图像回归(Image Regression)的深度学习技术，是一种统计学上非常有用的数学模型。
ESP32 外部中断
外部中断是单片机实时地处理外部事件的一种内部机制。
小米造“人”比特斯拉还快：首款全尺寸人形仿生机器人CyberOne发布
雷军在个人年度演讲快结束时，顺手扔出了这个王炸——全尺寸仿生人形机器人CyberOne。
5个问题让你快速看懂首张银河系中心黑洞照片
5月12日21:07，在包括上海在内的全球各地同时召开的新闻发布会上，天文学家向人们展示了位于我们银河系中心的超大质量黑洞的首张照片！
复刻荒井大师MOC新作——Jeep Wrangler
这次给大家展示的是荒井大师的MOC新作——Jeep Wrangler。说到荒井大师，这是一位灰常灰常值得尊敬的乐高科技MOC大师，其作品向来是外观，功能，可靠性近乎完美的平衡！最最最最关键的是，这位来自东瀛的大师其所有MOC作品的图纸都是免！费！的！
只需一枚树莓派，轻松造个游戏机
你怀恋小时候玩过的小霸王和街机游戏吗？使用RetroPie软件、树莓派和USB游戏控制器，不到一个小时，你就能重新捡起小时候玩过的游戏了：那些小时候没有打通的关，现在还有兴趣吗？
乐高前驱带悬挂底盘小车
乐高前驱带悬挂底盘小车。
ESP32 GPIO 矩阵和引脚多路复用
ESP32 芯片有34个物理GPIO管脚。每个GPIO管脚都可用作一个通用IO，或连接一个内部的外设信号。IO_MUX ¹、RTC IO MUX 和GPIO交换矩阵用于将信号从外设传输至GPIO管脚。
Jetson Nano 基础教程
作者：英伟达小助理 共52讲Jetson Nano 推出 2GB 内存版本，不仅承袭了 Jetson Nano 所有 AI 开发环境与 IOT 控制功能，也能学习或开发 Python、OpenCV 与 AI 深度学习、ROS 自动控制等应用。
课程
推荐文章
微信分享
