Split validation이나, Leave-One-Out Cross-validation (LOOCV) 를 하게 되면 적절하게 ROC curve를 그릴 수 있다. Split validation은 test set이 명확하게 있으니, 해당 샘플에 대해 ROC curve를 그리면 되고, LOOCV의 경우 데이터 하나당 Prediction 값을 저장해놓고 ROC curve를 그리면 된다. 그러면 Cross-validation은?? AUC 구하는거야, MRMC 기법이든 뭐든, 어쨌건 결과 값이 각 fold 별 AUC의 평균과 동일하기에 계산하면 되는데 ROC가 항상 문제이다. Multiple ROC curve에 대한 평균을 구하는 방식으로, Cross-validation의 mean ROC를 시각화 할 수 있는데..