gsutil은 google sotrage를 다루기 위한 툴인데,

GnomAD, 1000 genome 등등 공개 빅데이터를 다운받으려면 gsutil 이라는 툴을 사용해야 하는 경우가 많다.


프로그램에 대한 자세한 설명은 안나와있지만, 다운로드 속도가 빠른걸 보니

아마 UDP 기반으로 만들어진 파일전송 시스템이 아닐까 싶다. ;;






[sosal@cipher reference]$ uname -a

Linux cipher.snubi.org 2.6.32-642.4.2.el6.x86_64 #1 SMP Tue Aug 23 19:58:13 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux


리눅스에서 uname -a라고 치면, 64비트인지 32비트인지 알 수 있다.
x86_64 이기 때문에, 64비트이며 아래 사이트에서 64비트 버전을 다운받는다.


https://cloud.google.com/sdk/docs/quickstart-linux




위 64비트 파일의 url을 wget으로 받는다.





tar.gz 파일 압축풀기

[sosal@sosal gsutil]$ tar -xvzf ./google-cloud-sdk-193.0.0-linux-x86_64.tar.gz

google-cloud-sdk/

google-cloud-sdk/properties

google-cloud-sdk/data/

google-cloud-sdk/data/cli/

google-cloud-sdk/data/cli/gcloud.json

google-cloud-sdk/README

google-cloud-sdk/LICENSE

google-cloud-sdk/RELEASE_NOTES

google-cloud-sdk/install.sh

google-cloud-sdk/deb/

......... (이하생략)




python 최신버전이 없다는 경우, CLOUDSDK_python 이라는 환경변수를 설정해주면 된다.

export CLOUDSDK_PYTHON="$python/python"




gsutil -m cp -r gs://gnomad-public/release/2.0.2/vcf gnomad_data




gnomad_data vcf file 다운로드 되는 모습..

Posted by sosal sosal

댓글을 달아 주세요

  1. 2019.07.10 16:49

    좋은 글 감사합니다
    질문이 하나 있어서 남깁니다
    말씀하신 방법대로 gstuil을 설치는 했는데 gstuil -m ..... 명령어를 사용하자
    Unknown option: m
    No command was given.

    Choose one of -b, -d, -e, or -r to do something.
    Try `/usr/bin/gsutil --help' for more information.
    이라는 오류가 뜨는데요

    https://cloud.google.com/storage/docs/gsutil_install?hl=ko 여기를 보면 python 3.x에서는 실행이 안 된다고 하더라고요
    혹시 파이썬 2.x를 쓰고 계신가요? (그러기에는 포스팅 날짜가 너무 최근이라서 여쭤봅니다 ㅠㅠ)

    만약 저처럼 파이썬 쓰고 계신거면 혹시 제가 겪고 있는 문제를 겪어 보셨는지요 ㅠㅠ
    https://github.com/cvdfoundation/open-images-dataset/issues/10 라는 조언을 찾았지만 제 수준에서 해결하기가 넘 어렵네요
    우분투 사용하고 있습니다!

    • 2019.07.11 18:34

      혹시 gstuil -m.. 이라고 되어있는데 오타이신거겠지요?

      https://github.com/cvdfoundation/open-images-dataset/issues/10
      말씀해주신 여기 github에서는 gsutil이 default로 깔려있는 경우가 있다고 하네요.

      에러에서 말해주는 것처럼
      /usr/bin/gsutil -m ....
      으로 명령어를 실행해보시면 될 것 같은데요? ^^