요로 폰

R-CNN 알고리즘은 20 14 년에 제시되었으며, 기본적으로 목표 탐지 분야에서 2 단계 방법의 적용 기반을 마련했습니다. 알고리즘 구조는 다음과 같습니다.

알고리즘 단계는 다음과 같습니다.

R-CNN 은 기존 타겟 탐지 알고리즘에 비해 50% 향상된 성능을 제공합니다. VGG- 16 모델을 개체 인식 모델로 사용할 경우 voc2007 데이터 세트에서 66% 의 정확도를 얻을 수 있습니다. 가장 큰 문제는 속도가 매우 느리고 많은 메모리를 사용한다는 것입니다. 크게 두 가지 이유가 있다.

R-CNN 의 일부 문제에 대해 20 15 년 Microsoft 는 빠른 R-CNN 알고리즘을 제시하여 주로 두 가지 문제를 최적화했습니다.

R-CNN 과 f.a.s.t. r-CNN 모두 후보 상자가 선택적 검색으로 인해 매우 느리게 생성된다는 문제가 있습니다. 그리고 R-CNN 에서 생성된 2,000 개의 후보 프레임은 컨볼 루션 신경망을 거쳐야 합니다. 즉, CNN 네트워크를 2000 회 정도 통과해야 합니다. 시간이 많이 걸립니다 (f.A.S.T. R-CNN 이 개선되어 전체 화면이 CNN 네트워크를 한 번만 통과하면 됩니다). 이것이 이 두 알고리즘이 감지 속도가 느린 주된 이유이기도 하다.

이 문제를 해결하기 위해 f.a.s.t. R-CNN 은 RPN 네트워크를 제안하여 후보 프레임을 확보하고 선택적 검색 알고리즘에서 벗어나 단 한 번의 컨볼 루션 레이어 연산으로 인식 속도를 크게 높였다. 이 알고리즘은 매우 복잡하므로 자세히 분석해 보겠습니다. 그 기본 구조는 다음과 같다.

크게 네 단계로 나뉩니다.

네트워크 구조는 VGG- 16 컨볼 루션 모델을 사용합니다.

컨볼 루션 레이어는 VGG- 16 모델을 사용합니다. 먼저 PxQ 의 원본 그림을 MxN 의 그림으로 확대/축소한 다음 13 개의 conv- relu 레이어를 거쳐 4 개의 max-pooling 레이어를 보간합니다. 모든 컨볼 루션 코어는 3×3 이고 채우기는 1, 스텝 거리는 1 입니다. 풀 레이어 커널은 2x2, 채우기 0, 보폭 2 입니다.

MxN 의 사진은 컨볼 루션 레이어를 거쳐 (M/ 16) x (N/ 16) 의 특징이 됩니다.

더 빠른 R-CNN 은 R-CNN 의 선택적 검색 방법을 없애고 RPN 레이어를 사용하여 후보 프레임을 생성하면 후보 프레임 생성 속도가 크게 향상됩니다. RPN 레이어는 먼저 3×3 컨볼 루션을 수행한 다음 두 길로 나뉜다. 후보 상자가 전경인지 배경인지 판단하는 데 사용됩니다. 먼저 1 차원 벡터로 형태를 조정한 다음 softmax 는 전경 또는 배경인지 판단한 다음 2 차원 피쳐로 형태를 조정합니다. 또 다른 경로는 후보 상자의 위치를 결정하는 데 사용되며, 포위 상자 회귀를 통해 구현됩니다. 나중에 자세히 설명하겠습니다. 양방향 계산을 거쳐 전경 후보 프레임 (개체가 전경에 있기 때문) 을 선택하고 계산된 후보 프레임 위치를 사용하여 관심 있는 피쳐 하위 그래프 제안을 얻습니다.

컨볼 루션 레이어는 원본 이미지 정보를 추출하여 256 개의 특징도를 얻습니다. RPN 층 3×3 컨볼 루션 후에도 256 개의 특징이 있습니다. 그러나 각 점은 주변 3x3 의 공간 정보를 융합한다. 각 피쳐 그래프의 한 점에 대해 k 개의 앵커를 생성합니다 (k(k 의 기본값은 9 임). 앵커는 전경과 배경으로 나뉜다. (우리는 비행기든 자동차든 전경인지 배경인지 구분하기만 하면 된다.) Anchor 에는 네 개의 좌표 간격띄우기 [x, y, w, h] 가 있습니다. 여기서 x 와 y 는 중심점의 좌표를 나타내고 w 와 h 는 폭과 높이를 나타냅니다. 이렇게 하면 피쳐의 각 점에 대해 크기와 모양이 다른 k 개 선택 영역을 얻을 수 있습니다.

생성된 앵커의 경우 먼저 전경인지 배경인지 판단해야 한다. 관심 있는 대상이 전경에 있기 때문에 이 단계 이후에는 배경 앵커를 포기할 수 있습니다. 대부분의 고정점은 배경에 속하므로 이 단계에서는 불필요한 고정점을 많이 필터링하여 연결된 전체 레이어의 계산량을 줄일 수 있습니다.

3×3 컨볼 루션 후 얻은 256 개의 특징도는 1x 1 컨볼 루션 후 18 개의 특징도로 변환됩니다. 그러면 reshape 는 1 차원 벡터이고, softmax 는 전경인지 배경인지 판단한다. 여기서 성형의 유일한 기능은 softmax 계산에 데이터를 사용할 수 있게 하는 것이다. 그런 다음 식별된 전경 고정점을 출력합니다.

또 다른 패스는 앵커 포인트의 [x, y, w, h] 좌표값인 후보 상자의 위치를 결정하는 데 사용됩니다. 아래 그림에서 빨간색은 우리의 현재 선거구를 나타내고 녹색은 실제 선거구를 나타냅니다. 현재 선택은 대략 평면을 선택할 수 있지만 녹색의 실제 위치와 모양과는 큰 차이가 있기 때문에 생성된 고정점을 조정해야 합니다. 이 과정을 포위 상자 회귀라고 합니다.

빨간색 상자의 좌표가 [x, y, w, h], 녹색 상자의 좌표, 즉 대상 상자의 좌표가 [Gx, Gy, Gw, Gh] 인 경우 [x, y, w, h] 를 만들기 위해 변환을 설정해야 합니다 가장 간단한 아이디어는 먼저 초점이동을 해서 중심점을 가까이 오게 한 다음, W 와 H 가 가까이 오도록 확대/축소하는 것이다. 다음과 같습니다.

우리가 배워야 할 것은 dx dy dw DH 의 네 가지 전환이다. 선형 변환이기 때문에 선형 회귀로 모델링할 수 있습니다. 손실과 최적화 방법을 설정한 후에는 심도 있는 학습으로 훈련하고 모델을 얻을 수 있다. 공간 위치 손실의 경우 일반적으로 교차 엔트로피 대신 평균 제곱 오차 알고리즘을 사용합니다 (분류 예측은 교차 엔트로피를 사용). 최적화 방법은 어댑티브 그라데이션 하강 알고리즘인 Adam 을 사용할 수 있습니다.

전경 앵커를 얻고 위치와 쉐이프를 결정한 후 전경의 피쳐 하위 다이어그램 제안을 출력할 수 있습니다. 단계는 다음과 같습니다.

1, 전경 앵커 및 해당 [x y w h] 좌표를 가져옵니다.

2. 고정점이 전경일 확률에 따라 이전 pre_nms_topN 개 고정점을 내림차순으로 선택합니다 (예: 처음 6,000 개).

3. 아주 작은 닻을 제외합니다.

4. NMS 비최대 억제를 통해 신빙성이 높은 아나운서를 찾아낸다. 이것은 주로 선택이 겹치는 문제를 해결하기 위한 것이다. 먼저 각 선택 영역의 면적을 계산한 다음 softmax 에서 해당 점수 (즉, 전경의 확률인지 여부) 별로 정렬하여 가장 점수가 높은 선택 영역을 대기열에 넣습니다. 다음으로 나머지 선택과 현재 최대 점수 선택의 IOU 를 계산합니다. IOU 는 두 상자의 교차 영역을 두 상자의 합집합 영역으로 나누어 두 상자의 겹침 정도를 측정합니다. IOU 가 설정된 임계값보다 큰 선택을 제거합니다. 이렇게 하면 선택 영역 겹침 문제가 해결됩니다.

5. 첫 번째 post_nms_topN 결과를 결과에 대한 최종 선택 권장사항으로 선택합니다 (예: 300).

이 단계 후에, 목표의 위치는 기본적으로 끝나야 하 고, 나머지는 목표의 인식 이다.

F.a.s.t. R-CNN 과 마찬가지로, 이 계층은 이전에 얻은 제안의 크기가 다양해서 완전히 연결할 수 없는 문제를 주로 해결합니다. 전체 연결 계산은 특정 모양에서만 작동할 수 있으므로 제안의 크기와 모양을 동일하게 만들어야 합니다. 이 문제는 자르기 및 배율 조정을 통해 해결할 수 있지만 정보 손실 및 이미지 변형이 발생할 수 있습니다. 우리는 ROI pooling 을 사용하여 이 문제를 효과적으로 해결할 수 있다.

ROI pooling 에서 대상 출력이 MxN 인 경우 입력 권장사항을 수평 및 수직 방향으로 MxN 섹션으로 나누고 각 섹션에 최대값을 적용하여 MxN 의 출력 특성 다이어그램을 얻습니다.

ROI Pooling 레이어 뒤의 특징은 레이어를 softmax 에 완전히 연결하여 계산할 수 있습니다 (예: 사람, 개, 비행기). cls_prob 확률 벡터를 얻을 수 있습니다. 동시에 경계 상자 회귀를 다시 사용하여 제안된 위치를 미세 조정하여 bbox_pred 를 얻어 보다 정확한 대상 감지 프레임을 반환합니다.

이렇게 하면 더 빠른 R-CNN 의 전체 프로세스가 완료됩니다. 알고리즘은 상당히 복잡하며 모든 세부 사항을 반복해서 이해해야 한다. 더 빠른 R-CNN 은 resNet 10 1 모델을 컨볼 루션 레이어로 사용하여 voc20 12 데이터 세트에서 83.8%, yolo SSD 및 Yolo 를 능가할 수 있습니다. 가장 큰 문제는 속도가 느리고 초당 5 프레임만 처리할 수 있어 실시간 요구 사항을 충족하지 못한다는 것이다.

Yolo 는 2 단계 목표 탐지 알고리즘의 공통된 단점을 극복하기 위해 창조적으로 한 단계를 제시했다. 즉, 객체 분류 및 객체 위치 지정이 한 번에 완료됩니다. Yolo 는 출력 레이어에서 경계 상자의 위치와 범주를 직접 반환하여 한 단계 제자리에 섰습니다. 이렇게 하면 yolo 가 초당 45 프레임의 연산 속도에 도달할 수 있어 실시간 요구 사항을 완벽하게 충족할 수 있습니다 (초당 24 프레임에 도달하면 사람의 눈은 연속 으로 간주됨). 네트워크 구조는 다음과 같습니다.

컨볼 루션 레이어, 대상 감지 레이어 및 NMS 차폐의 세 부분으로 나뉩니다.

Google inceptionV 1 네트워킹을 사용하여 위 그림의 1 단계, ***20 계층에 해당합니다. 이 계층은 주로 피쳐 추출을 수행하여 모형의 일반화 능력을 향상시킵니다. 그러나 저자는 inceptionV 1 을 수정했다. 그는 inception 모듈 구조를 사용하지 않고 1x 1 의 컨볼 루션과 3x3 의 컨볼 루션 병렬 교체로 바꿨다. (inception 모듈 중 하나의 분기만 사용하는 것을 고려해 볼 수 있습니다. 이는 네트워크 구조를 단순화하기 위한 것입니다. ) 을 참조하십시오

4 개의 컨볼 루션 레이어와 2 개의 완전 연결 레이어를 거쳐 결국 7x7x30 의 출력이 생성됩니다. 먼저 네 개의 컨볼 루션 레이어를 경험하는 목적은 모델의 일반화 능력을 높이기 위해서이다. Yolo 는 448x448 의 원본 사진을 7×7 의 격자로 나눕니다. 각 격자는 상자 (X, Y, W, H) 를 둘러싸는 두 개의 좌표 (X, Y, W, H), 상자 안에 포함된 물체의 신뢰도와 20 개 범주 중 각 범주에 속할 확률을 예측합니다 (yolo 의 교육 데이터는 VOC20/입니다. 따라서 메시에 해당하는 매개변수는 (4x2+2+20) = 30 입니다. 다음 그림

여기서 이전 항목은 수동으로 표시된 물체가 그리드에 떨어졌는지 여부를 나타내고, 있는 경우 1 이고, 그렇지 않은 경우 0 입니다. 두 번째 항목은 경계 상자와 실제 표시 상자 사이의 일치 정도를 나타냅니다. 그것은 두 상자 면적의 교집합을 면적과 집합으로 나눈 것과 같다. 값이 클수록 상자가 실제 위치에 더 가까워집니다.

분류 정보: yolo 의 목표 교육 세트는 voc20 12 로, 20 분류 목표 테스트 데이터 세트입니다. 일반적인 타겟 테스트 데이터 세트는 다음과 같습니다.

| name | # images (trainval) | # classes | 마지막 업데이트 |

|-|-|-|-|

| imagenet | 450k | 200 | 2015 |

| 코코아 | 120K | 90 | 20 14 |

| 파스칼 VOC | 12k | 20 | 20 12 |

옥스퍼드 -IIIT 애완동물병원 | 7K | 37 | 20 12 |

| KITTI Vision | 7K | 3 | |

각 그리드는 또한 20 개 범주에 속할 확률을 예측해야 합니다. 분류 정보는 경계 상자가 아닌 각 그리드에 적용됩니다. 그래서 우리는 40 개가 아니라 20 개만 있으면 됩니다. 신뢰도는 상자 안에 물체가 있는지 여부만 나타내는 포위 상자를 겨냥하고 있으며, 물체가 20 개 범주 중 어느 종류인지 예측할 필요가 없으므로 두 개의 매개변수만 있으면 됩니다. 분류 정보와 신뢰도는 모두 확률이지만 의미는 완전히 다르다.

레이어를 필터링하는 목적은 여러 결과 (여러 경계 상자) 에서 가장 적합한 결과를 필터링하는 것입니다. 이 방법은 더 빠른 R-CNN 의 방법과 거의 같습니다. 먼저 점수가 임계값보다 낮은 상자를 필터링하고, 나머지 상자는 NMS 비최대 억제를 수행하고, 오버랩이 높은 상자를 제거합니다 (구체적인 NMS 알고리즘은 위에서 더 빠른 R-CNN 섹션에서 검토할 수 있음). 이렇게 하면 결국 가장 적합한 상자와 그 범주를 얻을 수 있다.

Yolo 의 손실 함수에는 위치 오류, 신뢰도 오류 및 분류 오류 세 부분이 포함됩니다. 구체적인 공식은 다음과 같습니다.

평균 제곱 오차 알고리즘은 모든 오차에 사용됩니다. 사실 위치 오차는 평균 분산 알고리즘을 사용해야 하고 분류 오차는 교차 엔트로피를 사용해야 한다고 생각합니다. 오브젝트 위치에는 4 개의 매개변수만 있고 범주에는 20 개의 매개변수가 있기 때문에 누적과 차이가 있습니다. 같은 가중치를 부여하는 것은 분명히 불합리하다. 따라서 yolo 의 위치 오차 가중치는 5 이고 범주 오차 가중치는 1 입니다. 우리는 물체를 포함하지 않는 포위함에 특별히 신경을 쓰지 않기 때문에, 물체를 포함하지 않는 포위함에 대한 신뢰도 오차의 가중치는 0.5 이고, 물체를 포함하는 포위상자의 가중치는 1 입니다.

빠른 R-CNN 은 mAP 정확도와 리콜률이 높지만 속도는 느립니다. Yolo 는 속도가 빠르지만 정확도와 누락률이 모두 만족스럽지 못하다. SSD 는 장점과 단점을 결합합니다. 300x300 의 입력 이미지의 경우 voc2007 데이터 테스트에서 초당 58 프레임 (Titan X 의 GPU) 및 72. 1% mAP 에 이를 수 있습니다.

솔리드 스테이트 드라이브의 네트워크 구조는 다음과 같습니다.

Yolo 와 마찬가지로 컨볼 루션 레이어, 대상 프로브 레이어 및 NMS 실드의 세 부분으로 나뉩니다.

SSD 논문은 VGG 16 의 기본 네트워크를 사용하는데, 이는 사실상 거의 모든 목표감지 신경망의 상습적인 방법이다. 먼저 CNN 네트워크를 사용하여 피쳐를 추출한 다음 후속 대상 위치 지정 및 대상 분류 인식을 수행합니다.

이 레이어는 5 개의 컨볼 루션 레이어와 1 개의 평균 풀 레이어로 구성됩니다. 마지막으로 완전히 연결된 레이어가 제거됩니다. SSD 는 목표 감지 중인 물체가 주변 정보와만 관련이 있다고 생각하는데, 그 감각은 글로벌이 아니므로 불필요하며 완전히 연결되면 안 된다. 솔리드 스테이트 드라이브의 특징은 다음과 같습니다.

각 컨볼 루션 레이어는 서로 다른 감각 필드의 특징도를 출력합니다. 이러한 다양한 규모의 특징도에서는 대상 위치 및 범주를 교육하고 예측하여 다중 스케일 감지의 목적을 달성하고 yolo 가 이상 종횡비에 대한 물체 인식 정확도가 낮은 문제를 극복할 수 있습니다. Yolo 에서는 마지막 컨볼 루션 레이어만 사용하여 목표 위치 및 범주를 교육하고 예측합니다. 이것은 SSD 에 비해 yolo 가 정확도를 높일 수 있는 핵심 포인트입니다.

위 그림과 같이 대상 감지 및 분류는 각 컨볼 루션 레이어에서 수행되고 마지막으로 NMS 에 의해 필터링되어 최종 결과가 출력됩니다. 다중 스케일 피쳐 다이어그램에서 대상 탐지를 수행하는 것은 많은 종횡비를 추가하는 경계 상자와 동등하며 일반화 능력을 크게 향상시킬 수 있습니다.

더 빠른 R-CNN 과 마찬가지로 SSD 도 anchor 의 개념을 제시했다. 회선 출력의 특징도를 통해 각 점은 원본 이미지의 한 영역의 중심점에 해당합니다. 이 점을 중심으로 종횡비가 다른 6 개의 고정점 (SSD 에서는 기본 상자라고 함) 을 구성합니다. 각 앵커는 4 개의 위치 매개변수 (x, y, w, h) 와 2 1 분류 확률 (VOC 교육 세트는 20 분류 문제이며 앵커가 백그라운드인지 여부, ***2 1 분류) 에 해당합니다 다음 그림과 같이 나타납니다.

또한 교육 단계에서 SSD 는 양수 및 음수 샘플의 비율을 1: 3 에 배치합니다. 주어진 교육 세트에 이미지와 각 오브젝트의 실제 영역 (지면 실제 상자) 을 입력하고 기본 상자와 실제 상자 사이의 가장 가까운 것을 양수 샘플로 선택합니다. 그런 다음 IOU 가 0.5 보다 큰 나머지 기본 상자 중 하나를 선택합니다. 실제 상자 IOU 는 양수 샘플입니다. 다른 사람들은 부정적인 샘플로 사용됩니다. 대부분의 상자는 음의 샘플로 인해 양수 및 음수 불균형이 발생할 수 있으므로 각 상자 범주의 확률에 따라 양수 및 음수 비율은 1: 3 으로 유지됩니다. SSD 는 이 전략이 4% 의 정확도를 높였다고 생각한다.

또한 SSD 는 데이터 향상을 사용합니다. 대상 오브젝트의 실제 상자와 IOU 가 0. 1.30.50.70.9 인 패치를 생성하고 임의로 선택하여 교육에 참여하고 무작위로 수평으로 대칭 이동합니다. SSD 는 이 전략이 8.8% 의 정확도를 높였다고 생각한다.

Yolo 의 스크리닝 레이어와 거의 같습니다. 마찬가지로 범주 확률이 임계값보다 낮은 기본 상자를 먼저 필터링한 다음 NMS 비최대값 억제를 사용하여 오버랩이 높은 상자를 필터링합니다. 다만 SSD 는 다른 특징도에서 대상 감지 출력의 기본 상자를 합성했습니다.

SSD 는 기본적으로 우리 휴대폰의 실시간 물체 감지 요구를 충족시킬 수 있다. TensorFlow 공식 대상 탐지 모델 SSD _ mobilenet _ v1_ Android _ export. Pb 는 SSD 알고리즘을 사용하여 구현됩니다. 그것의 기본 컨볼 루션 네트워크는 mobileNet 으로 터미널에 배치하고 실행하기에 적합하다.

Yolo 정확도가 낮고, 누락이 쉬우며, 가로세로비가 비정상인 물체에 대한 효과가 떨어지는 문제에 대해 SSD 의 특징과 결합해 yoloV2 를 제시했다. 그것은 주로 yolo 의 네트워크 구조를 채택하고 있으며, 이를 바탕으로 다음과 같이 최적화와 개선이 이루어졌다.

네트워크는 Darknet- 19: 19 계층을 사용하며 많은 수의 3x3 컨볼 루션이 포함되어 있습니다. InceptionV 1 참조를 위해 1x 1 컨볼 루션 커널의 글로벌 평균 풀 계층도 추가되었습니다. 그 구조는 다음과 같다

Yolo 와 yoloV2 는 20 가지 물체만 인식할 수 있다. 이 문제를 최적화하기 위해, yolo9000 이 제기되어 9,000 종의 물체를 식별할 수 있다. YoloV2 를 바탕으로 imageNet 과 coco 의 공동 훈련을 실시했다. 이 방법은 imageNet 을 최대한 활용하여 1000 개의 개체를 인식할 수 있으며, coco 는 대상 위치의 장점을 감지할 수 있습니다. ImageNet 교육을 사용하는 경우 개체 분류와 관련된 매개변수만 업데이트됩니다. Coco 를 사용하면 모든 매개변수가 업데이트됩니다.

YOLOv3 은 모든 이미지 감지 알고리즘을 직접 끊었다고 할 수 있다. 같은 기간의 DSSD (디콘 볼 루션 SSD) 및 FPN (피쳐 피라미드 네트워크) 에 비해 정확도가 더 높거나 비슷하며 속도는 1/3 입니다.

YOLOv3 의 변경 사항은 주로 다음과 같습니다.

그러나 보다 정확한 예측 프레임워크가 필요하고 COCO AP 를 평가 기준으로 하면 YOLO3 의 정확도는 다소 약해집니다. 다음 그림과 같이 나타납니다.

현재 표적 탐지 모델의 알고리즘도 끊임없이 등장하고 있다. 2 단계 분야에서 페이스북은 20 17 에서 mask R-CNN 을 제안했다. CMU 는 또한 A-Fast-RCNN 알고리즘을 제시하여 적대적 학습을 목표 검사 분야에 도입했다. Face++ 는 또한 R-CNN 이 물체 감지에서 정확도와 속도의 균형을 맞추는 방법을 주로 논의하는 광두가 강한 R-CNN 을 제시했다.

일급 무대의 영역도 백화제방이다. 20 17 년 서울대는 R-SSD 알고리즘을 제시했고, 주로 소형 물체 감지 효과가 떨어지는 문제를 해결했다. 칭화대가 제시한 론 알고리즘은 2 단계 명명법과 1 단계 방법의 장점을 결합하여 멀티스케일 객체 위치 지정과 음의 공간 샘플 마이닝을 더욱 중시한다.

표적 탐지 분야의 심도 있는 학습 알고리즘은 목표 위치 및 물체 인식이 필요하며, 알고리즘은 비교적 복잡하다. 현재 각종 새로운 알고리즘이 속출하고 있지만 모형 사이에는 강한 연속성이 있다. 대부분의 모형 알고리즘은 이전 사람들의 사고방식을 바탕으로 거인의 어깨에 서 있다. 우리는 고전적인 모델의 특징을 알아야 한다. 이런 수법은 어떤 문제를 해결하기 위한 것이고, 왜 해결해야 하는가. 이렇게 하면 우리는 일반삼할 수 있고, 우리는 영원히 우리의 종교를 바꾸지 않을 것이다. 요약하면 목표 탐지 분야의 주요 어려움은 다음과 같습니다.

목표 탐지를 위한 AI 알고리즘 이해: R-CNN, 더 빠른 R-CNN, yolo, SSD, yoloV2.

YOLOv 1 에서 v3 으로의 진화

SSD-Tensorflow 초상세 분석 1: 모델 테스트 사진 로드? /darknet/yolo/? /pjreddie/darknet

C# 프로젝트 참조:/alturosdestinations/alturos.yolo

프로젝트 실천 사진을 한 장 붙이다.