so_sal　

요즘 Large Language Model (LLM) 모델의 인기가 엄청나다. 주로 유전체 정보와 환자의 영상이미지, 병리이미지 등을 다루다가, 이제는 pathology 및 radiology report까지도 다루게 됐다. 모든 연구자들은 빠르게 아무도 안해본 데이터를 활용해서 새로운 결과를 만들어 좋은 저널페이퍼를 출간하고 싶은 법.. 나도 텍스트 데이터에 전혀 관심이 없다가 이번에 LLM을 활용해보면서 든 생각들을 정리해보았다.  필요한 GPU 메모리는 어느정도인가?현재 내가 쓰고있는 GPU는 A6000 * 8개짜리로, 각 gpu는 대략 48기가의 용량을 갖는다.내 경험상, 이 정도의 서버 스팩이면 7B 사이즈 정도의 텍스트는 충분히 처리할 수 있었다.대략 7,000 ~ 12,000 개 정도로 된 i..

Transfer learning을 수행해야할 때, torch의 hub를 활용해서 기존의 pretrained model을 가져오는 경우가 많이 있다. 그러나, 단순히 마지막 fully connected layer만을 없애고 싶은게 아니라, 중간의 feature부터 활용하고 싶은 경우가 있는데, 이런 경우는 forward 함수를 건드리면 제일 간편하다. 예를 들어, vision transformer에서, 마지막 cls token의 값을 가져오는게 아닌 patch의 정보를 가져오고 싶을때? 단순히 모델의 architecture를 수정한다고 해결할 수 있는 문제는 아니다. forward 함수에서, cls token만 짚어서 return하고 있기 때문이다. 이런 경우, python의 inspect를 활용하면 매우..