[Linux] 리눅스에서 jupyter notebook 설치하기 기존에는 linux 자체에서 vi나 nano로 코드를 작성했는데, 로컬에서 작성한 코드를 그 어두컴컴한 화면에서 수정하려니 작업하기에 너무 번거롭고 불편했다. 그래서 다른 분이 jupyter notebook을 사용하여 작업하시는걸 보고 시도해봤더니, 기존 윈도우 사용자이던 나에게는 정말 숨통이 트이는 기분이었다. 많은 리눅스 유저들이 jupyter notebook으로 보다 편한 환경에서 작업할 수 있었으면 좋겠다는 마음으로, 어떻게 linux에 jupyter notebook을 설치하는지 알아보자. $ pip install notebook # notebook 설치 $ jupyter notebook --generate-config # config 파일 생성 $ vi ~/.jupyter/jupyter_note.. [NLP] 임베딩(Embedding) 개념 이 포스트는 책 '한국어 임베딩(자연어 처리 모델의 성능을 높이는 핵심 비결 Word2Vec에서 ELMo, BERT까지, 이기창 저)'을 기반으로 작성되었습니다. 임베딩(embedding)이란? 자연어처리에서 임베딩(embedding)이란, 일반적으로 사람들이 쓰는 언어(자연어)를 기계가 알아들을 수 있게 수치화(벡터화)하는 것으로, 단어나 문장을 벡터 공간에 끼워 넣는다(embed)는 의미를 가지고 있다. 임베딩을 통해 가능해진 것 단어나 문장 사이의 유사도 계산 코사인 유사도가 가장 높은 단어를 구하는 등의 계산 가능 (+ t-SNE 차원 축소 기법으로 시각화 가능) 단어들 사이의 의미/문법적 정보 도출 벡터 간 연산으로 단어 사이 문법적 관계 도출 (평가 방법으로는 단어 유추 평가(word anal.. [Python] itemgetter를 이용하여 index로 list 추출하기 from operator import itemgetter a = [1,2,3,4,5,6] list_index = [1,3,5] itemgetter(*list_index)(a) >>> [2,4,6] [통계학] 15-1-2. 단일모집단 추론 - 모평균에 대한 통계적 추론(2) 이 포스트는 K-MOOC 숙명여대 여인권 교수님의 통계학의 이해 Ⅱ 강의를 기반으로 작성되었습니다. 이번 포스트에서는 단일 모집단이 정규분포가 아닐 때의 모평균에 대한 통계적 추론을 알아보고자 한다. 비정규성을 띄는 대표본 정규성을 만족하지 않는데 표본의 크기가 큰 대표본인 경우(n ≥ 30), 중심극한정리에 의해 정규분포에 근사할 수 있다. 비모수적 방법 그렇다면 정규분포가 아닌데 표본 크기가 크지 않은 경우에는 어떻게 할까? 이 때 사용하는 방법이 비모수적 방법이다. 이는 분포에 대한 특별한 제약조건은 없으며, 특정 중심위치에 대한 검정을 진행한다. 부호 검정 (sign test) 특정 값을 기준으로 이항분포(B)를 통해 확률(p값)을 계산 Wilcoxon 부호 순위 검정 (Wilcoxon signe.. [Ruby on Rails/Linux] CentOS 7에서의 Ruby on Rails 설치 방법 윈도우에서 어떤 프로그램을 설치하는 것은 매우 간단하지만, 리눅스의 경우는 직접 cmd 창에서 진행해줘야 하기 때문에 많은 번거로움이 있다. 오늘은 루비온레일즈(Ruby on Rails)를 Linux CentOS 7에 설치하는 과정을 알아보고자 한다. 1) ruby 설치 $ sudo yum install ruby $ sudo yum install git-core zlib zlib-devel gcc-c++ patch readline-devel libyaml-devel libffi-devel openssl-devel make bzip2 autoconf automake libtool bison curl sqlite-devel 2) rbenv (ruby 버전을 직접 설정하여 설치할 수 있는 패키지) 설치 및 원.. [Python/Linux] CentOS 7에서의 Python 3.7 설치 방법 CentOS 7 Linux에는 기본적으로 python 2.7.5 버전이 설치되어 있을 것이다. 하지만 대부분 평소 3 이상의 버전을 많이 사용하기에 python3는 거의 필수적으로 설치해야 할 것이다. 그래서 이번 포스트에서는 python 3 버전을 linux에서 어떻게 설치하는지 CentOS 7 기준으로 알아보도록 하자. 먼저 python3를 설치하는 방법은 다음과 같다. (혹시 root 권한이 아닐 경우 yum 앞에 sudo를 붙여주면 해결된다.) $ yum update -y $ sudo yum install -y https://repo.ius.io/ius-release-el7.rpm $ sudo yum install -y python36u python36u-libs python36u-devel py.. [통계학] 15-1-1. 단일모집단 추론 - 모평균에 대한 통계적 추론(1) 이 포스트는 K-MOOC 숙명여대 여인권 교수님의 통계학의 이해 Ⅱ 강의를 기반으로 작성되었습니다. 지난 13,14에 배운 통계적 추론에 대한 기본적인 내용을 바탕으로 다양한 경우에 대한 통계적 추론을 해보고자 한다. 이번 포스트에서는 단일 모집단이 정규분포일 때 모평균에 대한 통계적 추론을 배워보고자 한다. 모평균 점추정 모집단이 정규분포인 경우, 우선 정규분포의 가정을 데이터가 만족하고 있는지 확인해야 한다. 이는 Shapiro-Wilk test, Jacque-Bera test 를 통해 검정해볼 수 있다. 모집단에서 확률 표본 X1, ... , Xn ~ iid N(μ, σ^2)을 뽑은 후 평균을 추론하는데, 이 확률 표본은 X_i = μ + ε_i, ε_i ~ iid N(0, σ^2)으로 표현하기도 .. [Deep Learning] 기울기 소실과 폭주 (Gradient Vanishing & Exploding) 방지하기 이 포스트는 위키독스의 딥러닝을 이용한 자연어 처리 입문을 기반으로 작성되었습니다. 이번에는 기울기(Gradient)가 사라지거나 폭주할 때를 막아주는 방법인 Gradient Clipping, 가중치 초기화(Weight Initialization), 배치 정규화(Batch normalization), 층 정규화(Layer normalization) 등에 대해 알아보고자 한다. 이전 1 ··· 12 13 14 15 16 17 18 ··· 25 다음
