gsutil - google cloud platform 리눅스 사용법

gsutil은 google sotrage를 다루기 위한 툴인데,

GnomAD, 1000 genome 등등 공개 빅데이터를 다운받으려면 gsutil 이라는 툴을 사용해야 하는 경우가 많다.

프로그램에 대한 자세한 설명은 안나와있지만, 다운로드 속도가 빠른걸 보니

아마 UDP 기반으로 만들어진 파일전송 시스템이 아닐까 싶다. ;;

[sosal@cipher reference]$ uname -a

Linux cipher.snubi.org 2.6.32-642.4.2.el6.x86_64 #1 SMP Tue Aug 23 19:58:13 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

리눅스에서 uname -a라고 치면, 64비트인지 32비트인지 알 수 있다.

x86_64 이기 때문에, 64비트이며 아래 사이트에서 64비트 버전을 다운받는다.

https://cloud.google.com/sdk/docs/quickstart-linux

위 64비트 파일의 url을 wget으로 받는다.

tar.gz 파일 압축풀기

[sosal@sosal gsutil]$ tar -xvzf ./google-cloud-sdk-193.0.0-linux-x86_64.tar.gz

google-cloud-sdk/

google-cloud-sdk/properties

google-cloud-sdk/data/

google-cloud-sdk/data/cli/

google-cloud-sdk/data/cli/gcloud.json

google-cloud-sdk/README

google-cloud-sdk/LICENSE

google-cloud-sdk/RELEASE_NOTES

google-cloud-sdk/install.sh

google-cloud-sdk/deb/

......... (이하생략)

python 최신버전이 없다는 경우, CLOUDSDK_python 이라는 환경변수를 설정해주면 된다.

export CLOUDSDK_PYTHON="$python/python"

gsutil -m cp -r gs://gnomad-public/release/2.0.2/vcf gnomad_data

gnomad_data vcf file 다운로드 되는 모습..