so_sal　

뭔가 Transformer는 참 항상 어렵게 느껴졌었다. 왜이렇게 강의들이나 문헌들이 어렵게 적혀있는지, Key, Query, Value는 도대체 어디서 튀어나오는 것인지 명확하게 이해가 안됐다. 내가 이해할 수 있도록 글을 쓰면, 독자분들도 쉽게 이해할 수 있지 않을까? 라는 마음으로 이 글을 한번 써보도록 한다. 코드는 모델링을 기준으로 상세하게 덧붙여 가며 설명한다. 0. Library & 예제 데이터 준비 - Tensorflow Keras, Library Load import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers from tensorflow.keras.models import Sequent..

딥러닝 연구를 하다보니, 다양한 task를 수행하게 된다. 그 중, 딥러닝을 자주 씀에도 불구하고 내게 조금 헷갈렸던 task가 있는데, 바로 Multi-class와 Multi-label 이다. 쉽고 기본적인 내용같지만, Label의 형태에 따라서 매우 복잡한 문제가 될 수도 있다. 이 글에서는 Multi-label을 예측하는 문제에서, Output이 어떤 것은 Regression을 해야하고, 어떤 것은 classification을 수행해야 할 때를 위해 내가 정리하는 글이다. 1. Bianry classification - Sigmoid 일단 binary classification은, Logistic regression과 동일한 task로 간단한 sigmoid로 쉽게 해결할 수 있다. Sigmoid는 ..