교차 검증이란 무엇인가요?
교차 검증(Cross Validation)은 분류기의 성능을 검증하는 데 사용되는 통계 분석 방법으로, 기본 개념은 원본 데이터(데이터 세트)를 어떤 의미에서 그룹화하고 그 일부를 훈련으로 사용하는 것입니다. (training set), 나머지 부분은 검증 세트로 사용됩니다. 먼저 훈련 세트를 사용하여 분류기를 훈련시킨 다음 검증 세트를 사용하여 훈련된 모델(모델)의 성능을 평가합니다. 분류기 색인. 일반적인 교차 검증 방법은 다음과 같습니다. 1. 홀드아웃 방법
원본 데이터를 무작위로 두 그룹으로 나누어 하나는 훈련 세트로, 다른 하나는 검증 세트로 사용합니다. 그런 다음 검증 세트를 사용하여 모델을 검증하고 최종 분류 정확도를 분류기의 성능 지표로 기록합니다. 이 방법의 장점은 처리가 간단하다는 것입니다. 원본 데이터를 무작위로 두 그룹으로 나누기만 하면 됩니다. 실제로 엄밀히 말하면 Hold-Out 방법은 CV로 간주할 수 없습니다. 원본 데이터가 그룹화되어 있으므로 검증 세트의 최종 분류 정확도는 원본 데이터의 그룹화와 큰 관계가 있으므로 이 방법으로 얻은 결과는 실제로 설득력이 없습니다.
2. 이중 교차 검증(2-CV로 기록됨)
? 방법은 데이터 세트를 두 개의 동일한 크기 하위 집합으로 나누고 두 가지를 수행하는 것입니다. 라운드 분류기 훈련. 첫 번째 라운드에서는 하나의 하위 집합이 훈련 세트로 사용되고 다른 하나는 테스트 세트로 사용됩니다. 두 번째 라운드에서는 훈련 세트와 테스트 세트가 교체되고 분류기가 다시 훈련됩니다. 두 가지 테스트 세트의 인식률에 대해 우려합니다. 그러나 2-CV는 실제로 일반적으로 사용되지 않습니다. 주된 이유는 훈련 세트 샘플의 수가 너무 적어 일반적으로 상위 샘플의 분포를 나타내기에 충분하지 않아 인식률에 상당한 차이가 발생하기 때문입니다. 테스트 단계. 또한 2-CV의 분자 세트의 가변성이 커서 "실험 과정이 복제 가능해야 한다"는 요구 사항을 충족할 수 없는 경우가 많습니다.
3. K-fold Cross Validation(K-CV로 기록)
? 원본 데이터를 K개의 그룹으로 나누고(보통 균등하게 나눕니다) 각각의 하위 집합 데이터는 각각 검증 세트로 사용되며, 나머지 K-1 하위 집합 데이터는 훈련 세트로 사용됩니다. 그러면 K 모델의 최종 검증 세트의 분류 정확도 평균이 다음과 같이 사용됩니다. K-CV 하위 분류기의 성능 지표. K는 일반적으로 2보다 크거나 같습니다. 실제 연산에서는 일반적으로 3에서 가져옵니다. 원본 데이터 세트의 양이 작은 경우에만 2를 가져오려고 합니다. K-CV는 과잉 학습 및 과소 학습 상태의 발생을 효과적으로 방지할 수 있으며, 얻은 최종 결과도 상대적으로 설득력이 있습니다.
4. Leave-One-Out 교차 검증(LOO-CV로 기록됨)
원본 데이터에 N개의 샘플이 있는 경우 LOO-CV는 N-CV입니다. 각각의 샘플을 단독으로 검증 세트로 사용하고, 나머지 N-1개의 샘플을 트레이닝 세트로 사용하므로 LOO-CV는 N개의 모델을 획득하고, 이 N개의 모델에 대한 최종 검증 세트의 분류 정확도 평균을 구합니다. 다음 LOO-CV 분류기 성능 지표로 사용됩니다. 이전 K-CV와 비교하여 LOO-CV에는 두 가지 확실한 장점이 있습니다.
(1) 각 라운드의 거의 모든 샘플이 모델 학습에 사용되므로 원본 샘플의 분포에 가장 가깝습니다. , 이번 평가를 통해 얻은 결과가 더 신뢰도가 높습니다.
(2) 실험 중에 실험 데이터에 영향을 미치는 무작위 요인이 없으므로 실험 과정을 재현할 수 있습니다.
그러나 LOO-CV의 단점은 원본 데이터 샘플 수가 많을 때 구축해야 하는 모델 수가 원본 데이터 샘플 수와 동일하기 때문에 계산 비용이 높다는 것입니다. LOO-CV는 분류기를 훈련하여 얻은 모델이 매번 매우 빠르거나 계산에 필요한 시간을 줄이기 위해 병렬 컴퓨팅을 사용할 수 없으면 거의 표시되지 않습니다.