2016/11 3

Expectation–maximization과 R을 이용한 구현

/* * http://sosal.kr/ * made by so_Sal */ Expectation Maximization 알고리즘에 대해 어렴풋이 알고있었는데,이번기회에 R프로그래밍을 이용하여 직접 구현해보았다. 라이브러리를 사용하면 쉽게 사용할 수 있지만,수리통계와 확률론에 평소에 약했다고 느끼는 터라, 이번 기회에 한번 직접 구현해보았다.EM 알고리즘을 적용할 수 있는 예는 방대하지만, Clustering을 예제로 하여 이 글을 작성한다.Clustering의 대상은 DNA Sequence로 한다. 샘플: 데이터변수: 하나의 데이터(샘플)가 가지는 다양한 값 Clustering은 비슷한 변수를 가지고 있는 샘플들을 군집화 시켜주는 알고리즘이다. K-meansClustering 기법중, k-means cl..

Hadoop Hive -MetaException 에러 처리방법

Hadoop-Hive 연동 에러 hive에서 분명 show tables, show databases 등이 잘 동작하는데, Create table이 안되는 경우가 있다. hive> show tables;OKTime taken: 0.141 seconds 그런데 Create Table을 하면 자세한 에러사항 없이 아래와 같이 FAILED 에러가 뜬다. > CREATE TABLE TABLE_NAMES (ID STRING, SYMBOL STRING, GENE_NAME STRING) > ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' > LINES TERMINATED BY '\n' > STORED AS TEXTFILE; FAILED: Execution Error, return co..