learning

[ML] 머신러닝 Machine Learning 앙상블 Ensemble

2023.01.17

배경 No Free Lunch Theorem 모든 상황에서 우월한 성능을 내는 알고리즘은 존재하지 않음 문제의 목적, 데이터 형태등을 종합적으로 고려하여 최적의 알고리즘을 선택할 필요가 있음 Do we Need Hundreds of Classifiers to solve Real World Classification problems? 위의 배경을 입증하는 논문으로 각 121개의 dataset에 대한 179개의 알고리즘에 rank를 매긴 것 Random Forest, SVM 계열의 모델이 상대적으로 높은 Rank를 차지함 하나의 알고리즘이 우월한 경우는 없음 그러나 일반적으로 안정적인 성능을 보이는 알고리즘은 존재함 단일 알고리즘 보다 여러 알고리즘을 결합하면 성능이 향상되는 경우가 많다. > 서로 다른 사..

Machine Learning/이론

머신러닝 Machine Learning Bias, Variance

2022.08.17

수정이 있어 수식의 변수명이 맞지 않음 -> \( f(x) \) 는 \( \hat{f}(x)^{*} \) 와 같이 기댓값은 변수 위에 -로 표시함 Bias, Variance 모델에 의한 오류는 크게 Bias와 Variance로 구분된다. Bias(편향) 평균적으로 모델이 얼마나 정확하게 추정이 가능한지에 대한 측정 지표 Variance(분산) 모델 학습 시 개별 추정이 얼마나 크게 차이나는지에 대한 측정 지표 \( \hat{f}(x)^{*} \) : 입력 데이터 \( x \)에 대한 실제 정담 \( \hat{f}(x) \) : 입력 데이터 \( x \)에 대한 예측값 \( E[\hat{f}(x)] \) : \( \hat{f}(x) \)의 평균 -> 대표 예측값 Bias 모델을 통해 얻은 예측값과 실제값과..

[ML] 머신러닝 Machine Learning 앙상블 Ensemble

머신러닝 Machine Learning Bias, Variance

티스토리툴바