티스토리

so_sal　

검색하기

블로그 홈

so_sal　

sosal.kr/m

Bioinformatics analyst Data scientist

구독자: 14

방명록 방문하기

공지 오토마우스 무한클릭 모두보기

반응형

주요 글 목록

Sklearn - PolynomialFeatures Feature Engineering은 데이터의 전처리를 통해 머신러닝 모델의 성능을 향상시키는 방법입니다. PolynomialFeatures 는 주어진 입력값을 기반으로, 고차항들을 추가하는 방법입니다. scikit-learn의 패키지에서 이 기능을 제공하며, 단순한 선형모델을 활용한다는 가정 하에 보다 복잡한 다항식 모델로 변환시킬 수 있기 때문에, 입력값이 적고 비선형 데이터에 대한 모델링을 수행할 때 효과적입니다. - 기본 사용 방법 from sklearn.preprocessing import PolynomialFeatures poly = PolynomialFeatures(degree=2, include_bias=False) poly.fit_transform(pd.DataFrame([3, 6, 9].. 공감수 0 댓글수 0 2023. 5. 1.
tf.keras로 Embedding layer 뜯어보기, 구현해보기 Embedding layer가 어떻게 동작하는지 정확하게 알기 위해서, 가장 쉬운 예제를 통해 이해하려고 노력해봤습니다. import tensorflow as tf from tensorflow.keras.utils import plot_model query_input = tf.keras.Input(shape=(5), dtype='int32') token_embedding = tf.keras.layers.Embedding(input_dim=5, output_dim=10) query_embeddings = token_embedding(query_input) Model = tf.keras.models.Model(inputs = query_input, outputs=query_embeddings) Model: .. 공감수 0 댓글수 0 2023. 3. 8.
tf.keras에서 Transformer의 self attention 및 중요도 1. Transformer에서 self-attention의 의미 Self-attention은 자연어 텍스트와 같은 Sequential data를 처리하기 위한 Transformer layer에 있는 메커니즘입니다. 이를 통해 모델은 시퀀스의 중요한 부분에 집중하여 시퀀스의 각 요소에 대한 표현을 계산할 수 있습니다. Attention score는 위 그림처럼, 2차원의 word vector에 대해 Matrix multiplication이 수행됩니다. Word embedding이 잘 되어있다면, 비슷한 의미를 가지는 단어는 비슷한 Feature pattern을 보일 것입니다. 따라서, 같은 문장의 MatMul을 통해 만들어진 Attention score (Matrix)는 '유사도' 처럼 작동할 것입니다. .. 공감수 1 댓글수 0 2023. 2. 5.
Python for loop, map, Filter, Reduce 정리 Python은 아무래도 컴파일 되는 것이 아닌, 스크립트 언어다 보니 단순 반복연산에 대한 for loop는 상당히 느립니다. 따라서 map, filter, reduce 등으로 대체하는 것을 권장하고 있는데, 세 가지 문법에 대해서 가볍게 정리해보겠습니다. import math import time import numpy as np # 0 공감수 0 댓글수 0 2022. 12. 27.
tf.Keras 기본코드로 이해하는 Transformer 뭔가 Transformer는 참 항상 어렵게 느껴졌었다. 왜이렇게 강의들이나 문헌들이 어렵게 적혀있는지, Key, Query, Value는 도대체 어디서 튀어나오는 것인지 명확하게 이해가 안됐다. 내가 이해할 수 있도록 글을 쓰면, 독자분들도 쉽게 이해할 수 있지 않을까? 라는 마음으로 이 글을 한번 써보도록 한다. 코드는 모델링을 기준으로 상세하게 덧붙여 가며 설명한다. 0. Library & 예제 데이터 준비 - Tensorflow Keras, Library Load import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers from tensorflow.keras.models import Sequent.. 공감수 4 댓글수 0 2022. 10. 21.
Deep Attention-Sampling Models: 큰 이미지의 End-to-end 학습 Processing Megapixel Images with Deep Attention-Sampling Models https://arxiv.org/pdf/1905.03711.pdf 불러오는 중입니다... (참고 자료) https://icml.cc/media/Slides/icml/2019/halla(11-11-00)-11-11-25-4512-processing_mega.pdf Image-net에서 pretrained 되는 대표적인 CNN 모델들 (VGG, ResNet, DenseNet 등.. ) 은 기본적으로 224*224 사이즈를 가진다. 그런데 448*448 로만 늘려도 필요한 메모리가 어마어마해진다. 따라서 매우 큰 이미지를 학습할 때, 사이즈를 down-sampling 하거나, 아니면 patch를 .. 공감수 1 댓글수 0 2019. 8. 10.
Multi-view image deep learing with CNN-LSTM https://machinelearningmastery.com/cnn-long-short-term-memory-networks/ CNN Long Short-Term Memory Networks Gentle introduction to CNN LSTM recurrent neural networks with example Python code. Input with spatial structure, like images, cannot be modeled easily with the standard Vanilla LSTM. The CNN Long Short-Term Memory Network or CNN LSTM for short is an LSTM machinelearningmastery.com Objecti.. 공감수 1 댓글수 0 2019. 4. 3.
scikit-image 설치 에러 Microsoft visual c++ 14.0 required Failed building wheel for scikit-image Running setup.py clean for scikit-imageFailed to build scikit-imageInstalling collected packages: scikit-image Running setup.py install for scikit-image ... error ..... compiling C sources error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools ######## Solution .. 공감수 1 댓글수 1 2018. 1. 26.
python scipy - ImportError: DLL load failed 진짜 scipy 안에 있는 모듈을 import 할 때, DLL이 없다고 에러가 난다. 구글링 해서 Stack-overflow 같은 곳에서는 NumPy+MKL 를 설치하라고 난리다.해당 파일은 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 에서 다운받아서 설치할 수 있지만,본인은 아무리 Numpy, scipy를 지우고 NumPy+MKL을 따로 받아 설치하고 해도scipy는 import 되는데, 안에있는 sub-module에 대해서는 DLL error가 발생했다. >>> import scipy# scipy는 잘 import 됨. >>> import scipy.miscTraceback (most recent call last): File "", line 1, in File "C:.. 공감수 6 댓글수 1 2017. 10. 10.
python DICOM (DCM) 이미지를 png, jpg로 바꾸기 DICOM 이미지를 이용해서 학습을 하려고, jpg나 png format으로 바꾸려고 했는데,예전에 어떤 library를 썼는지 잘 기억이 안나서.. 구글링해보니 mritopng 라는 정말 간단한 패키지가 있어서, 혹시 까먹을까봐 포스팅으로 남겨본다. https://github.com/danishm/mritopng 위 github에서 zip 파일 다운받아서 압축을 풀고,콘솔에서 python setup.py install 하나로 설치 완료. 혹은 pip install mritopng convert_file이란 함수로 파일 이름 하나하나 짚어가면서 바꿀 수 있고,convert_folder 함수로 폴더 안에있는 모든 dicom 파일을 (DCM) png로 바꿀 수 있다. import mritopng # Conv.. 공감수 7 댓글수 2 2017. 10. 1.
Tensorflow-gpu No module named '_pywrap_tensorflow' 에러 return _bootstrap._gcd_import(name[level:], package, level) File "", line 986, in _gcd_import File "", line 969, in _find_and_load File "", line 958, in _find_and_load_unlocked File "", line 666, in _load_unlocked File "", line 577, in module_from_spec File "", line 906, in create_module File "", line 222, in _call_with_frames_removed ImportError: DLL load failed: Impossibile trovare il modulo s.. 공감수 2 댓글수 1 2017. 9. 30.
python - unicodedecodeerror 'ascii' codec can't decode byte /* * http://sosal.kr/ * made by so_Sal */ 파이썬에서 file.readline() 함수 에러가 났다. Traceback (most recent call last): File "/mnt/fhgfs/sosal/TCGA/Source/bin/get_integrate_somatics_onlyone.py", line 28, in line = PR_file.readline() File "/storage/home/sosal/anaconda3/lib/python3.4/encodings/ascii.py", line 26, in decode return codecs.ascii_decode(input, self.errors)[0] UnicodeDecodeError: 'ascii' codec c.. 공감수 1 댓글수 0 2015. 9. 4.
Python - 도형 class를 이용한 상속 예제 /* * http://sosal.kr/ * made by so_Sal */ Vehicle 객체에서 기본적인 동작을 미리 구현하여 Car, Truck, Motocycle 등의 class를 구현할 때, 이미 기본적인 뼈대가 구현 된 vehicle 객체를 상속받음으로써 지역변수, 함수 등의 리소스들를 재활용 할 수 있다. 마찬가지로 도형에서도 shape라는 뼈대 class 객체를 미리 구현해 둔다면 Rectangle, triangle, Circle 등을 구현할 때, 자료를 재활용 하므로써 편하게 프로그래밍 할 수 있다. - Shape class 기본적으로 width, height 2가지 변수를 float으로 입력 받아 데이터를 생성하는 생성자를 가진다. getWidth(), setWidth() 등의 gette.. 공감수 0 댓글수 0 2015. 6. 3.
Python - Recursion으로 구현하는 string compression /* * http://sosal.kr/ * made by so_Sal */ Question 2 (20 points) recursion. We want to compress strings that have long sequences of equal characters. For example, we want to compress "bbbbaaa$$$$$$$$$$$$$$$$d" to "b4a3$16d1". In the compression, each sequence of equal characters is given by the character followed by the length of the sequence. Write function compress to do this. Use no loops; us.. 공감수 2 댓글수 1 2015. 6. 3.
Python - DNA sequence로부터 protein 서열 구하기 /* * http://sosal.kr/ * made by so_Sal */ table = { 'TTT': 'F', 'TTC': 'F', 'TTA': 'L', 'TTG': 'L', 'TCT': 'S', 'TCC': 'S', 'TCA': 'S', 'TCG': 'S', 'TAT': 'Y', 'TAC': 'Y', 'TGT': 'C', 'TGC': 'C', 'TGG': 'W', 'CTT': 'L', 'CTC': 'L', 'CTA': 'L', 'CTG': 'L', 'CCT': 'P', 'CCC': 'P', 'CCA': 'P', 'CCG': 'P', 'CAT': 'H', 'CAC': 'H', 'CAA': 'Q', 'CAG': 'Q', 'CGT': 'R', 'CGC': 'R', 'CGA': 'R', 'CGG': 'R'.. 공감수 2 댓글수 0 2015. 6. 3.
Python - 미국형 날짜구분자, 유럽형으로 바꾸기 /* * http://sosal.kr/ * made by so_Sal */ 미국은 mm/dd/yy 순서로 날짜를 표현합니다. 예를들어 2015년 06월 03일은 6/3/15 정도로 표현됩니다. 하지만 유럽은 dd/mm/yy 순서로 날짜를 표현합니다. 그리고 한자리 숫자의 경우 꼭 10의 자리에 0을 붙여줍니다. 2015년 06월 03일은 03/06/15 정도로 표현됩니다. python으로 미국형 날짜순서를 유럽형으로 바꾸는 코드입니다. ex1 ) Input: 6/3/15 output: 03/06/15 ex2 ) input: 01/29/13 output: 29/01/13 __author__= "sosal" def europeanize(date): days = date.split('/') # /으로 구분되어.. 공감수 0 댓글수 0 2015. 6. 3.
Python - Sequence 소수성 및 제한효소 인지부분 자르기 /* * http://sosal.kr/ * made by so_Sal */ Python 간단한 실습강의에서 나왔던 연습문제들을 소개하고자 합니다. exercise1: 연속적으로 Hydrophobic한 아미노산(Amino acid)이 연속적으로 나오는지를 판별하는 프로그램을 구현한다. exercise2: 제한효소가 있는 부위를 잘라서 line별로 출력하라. exercise1. 입력된 Sequence가 Hydrophobic인지 검사하라. - 다음 7개의 아미노산 FILAPVM은 Hydrophobic한 아미노산이다. - 이 아미노산들이 연속적으로 나온다면 Hydrophobic이라고 한다. - 연속적으로 7개 이상의 Hydrophobic한 아미노산이 나오면 Strong hydrophobic signal을 출력한.. 공감수 3 댓글수 0 2015. 4. 29.
Pycharm font 변경하는방법 /* * http://sosal.kr/ * made by so_Sal */ Pycharm을 사용하다가 글자크기가 작고 라인크기도 커서 바꾸려고 했는데 이상하게 edit, view를 아무리 뒤져봐도 preference가 안보이더라구요. 1. pycharm에서 이렇게 메인창이 보인다면 왼쪽 상단의 file 탭을 클릭합니다. 2. file tab 안의 setting을 클릭하세요. 3. setting에서 뜨는 팝업에서 Editor -> Colors & Fonts -> Font를 누릅니다. 그러면 우측에 폰트변경하는 칸이 보이는데, 이때 font size와 Line spacing같은게 수정이 안됩니다. 빨간 네모칸을 친 Save As... 부분을 누르시고 저장을 하셔야 합니다. 4. 이렇게 Name을 지정해주시고.. 공감수 4 댓글수 1 2015. 4. 29.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.