banana like sunshine RSS FEED

엑셀에서 csv 포맷으로 데이터를 저장할 때, 옵션에서 utf8 인코딩을 선택해도 정작 읽을 때에는 utf8 에러가 발생하는 경우가 종종 있습니다(M$ windows에서). 이런 경우는 시스템 설정에 따른 것이므로 excel에서 해결할 수 있는 방법은 없습니다.

스크립트를 짜서 인코딩을 바꿔주는 수도 있지만, 가장 간단하게 해결하는 방법은 메모장(notepad)에서 열은 후 다른 이름으로 저장할 때 UTF8 인코딩으로 지정해주면 됩니다.

GPU 이용은 클라우드로만 하다가, GPU를 득템하게 되어 리눅스 머신에 세팅.

Machine Learning으로 가는 가장 큰 난관은 GPU 잡아주고 드라이버, CUDA 설치하는 거라고 누가 그랬던가..

결국 열 번 정도 OS부터 잘근잘근 다시 깔며 고생. 인터넷에 여기저기 떠도는 팁들은 다 제각각이라 도움이 안되고, NVIDIA에서 제공하는 가이드를 정독하는게 정답입니다.

제가 남겨놓고 싶은 팁 하나. kernel driver와 CUDA driver 사이에 버전 차이 등 kernel 레벨에서 발생하는 문제는 아래 커맨드로 확인하면 도움이 됩니다. 저도 버전 문제로 엄청 헤매다가 어느 고수가 설명도 없이 "이거 한번 해봐"하는 걸 보고 해결했습니다.

sudo dmesg | grep NVRM

dmesg는 kernel ring buffer를 확인해주는 커맨드라고 합니다. 저는 이렇게 하니 client module이랑 kernel module이 안맞다는 사실을 알고 버전만 맞춰주니 바로 해결이 되더군요. ^^

virtualenv 등 이것저것 설치시 locale 오류나는 경우에는 표준으로 세팅을 해주어야 합니다. 

이 경우 locale 커맨드로 확인해보시면 locale 세팅이 안되어 있거나 한데, 보통 en-US로 바꿔주시면 대부분의 문제는 해결이 됩니다: 

export LC_ALL="en_US.UTF-8"

ndarray를 간단하게 shuffle할 때 씁니다:

np.random.seed(seed)
indices = np.arange(len(x_train))
np.random.shuffle(indices)
x_train = x_train[indices]

anaconda를 이용할 때, root 외에 다른 환경(environment)을 만들어서 실험을 하게 되지요.

console에서는 activate 해주면 되는데, jupyter notebook을 이용할 때는 이것만으로는 부족합니다.

이럴 땐 이렇게 해주면 됩니다. 저는 tensorflow를 설치한 환경을 설정하였습니다.

source activate tensorflow
pip install ipykernel
python -m ipykernel install --user --name tensorflow --display-name "Python (tensorflow)"

이제 jupyter notebook 실행한 후 노트북을 생성할 때 아래 그림처럼 나옵니다:

이제 해당 환경으로 실행하시면 됩니다.

sudo 권한이 있는 것을 전제로 작성합니다:

Anaconda downloads page에서 설치하고자 하는 버전의 다운로드 링크를 가져옵니다. 저는 python 3.6 용이고, version 5.0.0.1입니다.

curl -O https://repo.continuum.io/archive/Anaconda3-5.0.0.1-Linux-x86_64.sh

서버로 운영하고 있다면SHA256으로 검사를 한번 해주는 게 좋겠지요. key 값은 여기에서 확인하시면 됩니다.

sha256sum Anaconda3-5.0.0.1-Linux-x86_64.sh

이제 다운받은 스크립트를 실행해주면 됩니다:

bash Anaconda3-5.0.0.1-Linux-x86_64.sh

그러면 라이센스 텀에 동의하는지, 설치 위치를 물어보고 설치가 진행됩니다. 마지막에 PATH 추가 여부까지 확인하는데, yes 해주면 됩니다. 설치 후에 한번 .bashrc를 실행해주면 바로 이용 가능한 상태가 됩니다.

source ~/.bashrc

www가 붙지 않은 도메인 네임(foo.com)으로 들어온 트래픽을 www가 붙은 도메인 네임(www.foo.com)으로 redirect 시켜줄 필요가 가끔 생깁니다.

보통 apache 설정 파일에서 Rewrite 룰을 이용해서 하는데.. Virtual Host 설정으로 간단하게 하는 방법이 있어서 알려드립니다.

www.foo.com을 받아주는 Virtual Host설정을 한 후, 아래와 같이 foo.com 으로 들어온 트래픽을 redirect 시켜주면 됩니다.

<VirtualHost *:80>
    ServerName foo.com
    Redirect permanent / http://www.foo.com/
</VirtualHost>

설정을 본격적으로 바꾸는게 부담되시는 분들은 가볍게 이렇게 해주시면 됩니다.

업무상 중국어를 읽어야(!) 하는 경우가 생겨서 독해와 관련한 무료 사이트들을 찾아보던 중, 정말 좋은 사이트가 있어서 공유합니다.

READ CHINESE!(http://readchinese.nflc.org/?page=home) 라는 사이트로, 메릴랜드 대학이 미국 교육부 보조로 만든 사이트입니다. 대상은 주로 미국 고등학생 수준.. 1년 정도 클래스를 듣고 간단하게 몇 글자 읽고 쓰는 수준이라고 합니다. 저는 몇 년 전에 두 달 정도 학원을 다니며 열공(!)을 하였는데.. Novice는 어느 정도 할 수 있을 것 같고, Intermediate는 공부하면 도움이 될 것 같네요. 미국 학생들에 비하면 한자를 안다는게 강점이지요 ㅋㅋ. 물론 대충 뜻만 알고 넘어가면 공부가 안되겠지요.

영어 공부도 하면서 중국어 독해를 한다고 하면 정말 좋은 리소스입니다.