darknet源码剖析（四）do_nms_sort详解

by · 2020年08月01日 · 1089 Words · ~3min reading time | Improve on


	//将图片数据进行缩放
	image resize_data = resize_image(original_data, g_global_set.object_detect_net_set.this_net.w, g_global_set.object_detect_net_set.this_net.h);

	//获取开始时间
	double this_time = get_time_point();

	//开始预测
	network_predict(g_global_set.object_detect_net_set.this_net, resize_data.data);

	//计算预测需要的时间
	detect_info.detect_time = ((double)get_time_point() - this_time) / 1000;

	//获取方框数量
	int box_number;
	detection* detection_data = get_network_boxes(&g_global_set.object_detect_net_set.this_net,
		original_data.w, original_data.h, detect_info.thresh, detect_info.hier_thresh, 0, 1, &box_number, 0);

	//非极大值抑制
	do_nms_sort(detection_data, box_number, g_global_set.object_detect_net_set.classes, detect_info.nms);

	//获取有效的方框数量
	int useble_box = 0;
	detection_with_class* detector_data = get_actual_detections(detection_data,
		box_number, detect_info.thresh, &useble_box, g_global_set.object_detect_net_set.classes_name);

	//对每一个对象
	for (int i = 0; i < useble_box; i++)
	{
		//获取类型
		int index = detector_data[i].best_class;

		//获取置信度
		int confid = detector_data[i].det.prob[detector_data[i].best_class] * 100;

		//信息
		char format[1024];
		sprintf(format, "%s %d", g_global_set.object_detect_net_set.classes_name[index], confid);

		//如果是车牌 且 车牌识别网络有加载
		if (is_object_car_id(index) && g_global_set.car_id_identify_net.initizlie)
		{
			//分析车牌
			int car_id[7];
			detect_info.identify_time = analyse_car_id(rgb_data, detector_data[i].det.bbox, car_id);

			char temp[default_char_size];
			sprintf(temp, "  %d%d-%d%d%d%d%d", car_id[0], car_id[1], car_id[2], car_id[3], car_id[4], car_id[5], car_id[6]);
			strcat(format, temp);
		}

		//绘制
		draw_boxs_and_classes(opencv_data, detector_data[i].det.bbox, format);
	}

	//释放内存
	free_detections(detection_data, box_number);
	free_image(original_data);
	free_image(resize_data);
	free(detector_data);

在yolo模型inference执行完成后，会产生很多的冗余结果，此时就需要调用nms对冗余结果进行去重。

nms函数在darknet框架中是do_nms_sort函数，位于box.c文件中，现对do_nms_sort过程做详细分析：

// 将没有物体的的结果后移

for(i = 0; i <= k; ++i){
    if(dets[i].objectness == 0){
        detection swap = dets[i];
        dets[i] = dets[k];
        dets[k] = swap;
        --k;
        --i; // --i后再++i表示i的位置没有改变，之所以采用这一做法的原因是，交换后的检测结果可能同样objectness为0
    }
}

上述循环过程的功能是将没有物体的检测结果由后向前交换，--k表示最后一个位置向前移动一个位置，
--i后再++i表示i的位置没有改变，之所以采用这一做法的原因是，交换后的检测结果可能同样objectness为0，因此先保持在原位置不变，当检测结果的objectness不为0时，才移动到下一个物体。

经过上述过程，所有检测结果中不包含物体的全部被移动到了最后，包含物体的检测结果全部被移动到了数组前方。

for(k = 0; k < classes; ++k){
    for(i = 0; i < total; ++i){
        dets[i].sort_class = k;
    }

    qsort(dets, total, sizeof(detection), nms_comparator);
    然后按照类别对检测结果进行排序，排序的依据是某个检测结果属于某一类的概率，调用nms_comparator函数。

    for(i = 0; i < total; ++i){
        if(dets[i].prob[k] == 0) continue;
        box a = dets[i].bbox;
        for(j = i+1; j < total; ++j){
            box b = dets[j].bbox;
            if (box_iou(a, b) > thresh){
                dets[j].prob[k] = 0;
            }
        }
    }
}

    for(i = 0; i < total; ++i){
        if(dets[i].prob[k] == 0) continue;
        box a = dets[i].bbox;
        for(j = i+1; j < total; ++j){
            box b = dets[j].bbox;
            if (box_iou(a, b) > thresh){
                dets[j].prob[k] = 0;
            }
        }
    }

最后一个二重循环的作用是，计算两个检测结果之间的iou，若二者之间的iou大于thresh，则将后者直接置0，认为上述两个框是同一个框。此处代码中给出的thresh是0.45。但上述做法实际上产生了一个问题，若两个物体重叠部分大于thresh，则会造成其中一个物体的丢失，进而造成准确率的下降。解决上述问题已有一些方法，但不是本文的重点，此处先暂且不表。

至此do_nms_sort的过程就分析完成了，总结起来就是三个过程：

1）去除没有物体的检测结果。

2）按照检测结果类别排序。

3）计算检测结果之间的iou，若大于thresh，则舍去。

darknet源码剖析（四）do_nms_sort详解

分类

标签云