본문 바로가기
[NLP] 언어 모델 (Language Model) 이 포스트는 위키독스의 딥러닝을 이용한 자연어 처리 입문을 기반으로 작성되었습니다. 이번에는 어떤 단어들(문장)이 주어졌을 때 다음 단어를 예측하는 모델 중 통계에 기반한 기초적인 모델인 SLM, n-gram 등에 대해 알아보자.
[NLP] 텍스트 마이닝 (Text Mining) 이 포스트는 위키독스의 딥러닝을 이용한 자연어 처리 입문을 기반으로 작성되었습니다. NLP의 가장 기본인 텍스트 마이닝에 대한 내용이다. 기본적으로 해주어야 하는 토큰화(tokenization), 정제(cleaning), 정규화(normalization), 불용어(stopwords)부터 어간 추출(stemming)과 표제어 추출(lemmatization)의 차이, 이를 실제로 보다 효율적으로 수행하기 위해 필요한 정규표현식(Python의 re), 그리고 단어 분리 토크나이저까지 텍스트마이닝에 대한 내용을 전반적으로 정리해보았다.
[통계학] 14-3. 통계적 추론의 개요 - 유의수준과 검정력 이 포스트는 K-MOOC 숙명여대 여인권 교수님의 통계학의 이해 Ⅱ 강의를 기반으로 작성되었습니다. 이번에는 지난 글에서 다룬 검정통계량과 오류에서 파생된 유의수준에 대해 다뤄보고자 한다. 우선 예시를 통해 제1, 2종의 오류와 그에 따른 유의수준 및 검정력에 대해 알아보자. 유의수준 유의수준(α) : 제 1종 오류 확률의 최대값 ex) 인구 데이터 X가 정규분포 N(μ, 4)를 따른다고 하자. 이 때 관심이 있는 값은 μ이다. 이 값을 알기 위해 X에서 16개의 표본 X1, ... , X16을 추출했다. 이 정규분포 X1, ... , X16 ~ iid N(μ, 4)를 통해 우리가 주장하는 대립가설은 H1 : μ > 0이며, 귀무가설은 H0 : μ ≤ 0이다. 검정 원칙으로는 'X의 표본평균 x̅ ≥ 0..
[Tableau] 계기판(gague chart) 만들기 이번에는 자동차 앞 미터기나 냉장고 옆 스티커에서 흔히 봤을 계기판을 만들어보고자 한다. (계기판이라고 부르는게 맞는지 모르겠지만... 일단 그렇게 명명하도록 하겠다!) 우선 나타낼 변수는 BMI로, BMI 지수마다 범주화를 한 필드를 생성해주었다. 그리고 해당 계기판 그림은 파워포인트를 통해 직접 만들어주었다. (능력이 된다면 포토샵이나 일러스트를 쓰면 더욱 좋을듯하다.) 그리고 계기판을 배경으로 표시를 할 막대를 나타내기 위한 X축과 Y축 변수를 생성해준다. 사실 cos, sin 함수를 쓰는 것이 원칙이지만, 보다 쉽게 이해하기 위해 상수값을 할당해주었다. 이제 상단의 [맵 > 배경 이미지 > 해당 데이터]를 클릭해준 뒤, [이미지 추가]를 누른다. 생성했던 계기판 그림을 [파일 또는 URL]에 넣어..
[Tableau] Rounded bar chart 만들기 이번에는 막대 그래프 끝이 동글동글한 rounded bar chart를 만들어보고자 한다. 우선 열에 막대로 표현하고 싶은 변수를 넣고 옆에 더블클릭하여 AVG(0)을 생성해준다. 그리고 집계(AVG(0))을 시트의 막대로 표현하고 싶은 변수 쪽으로 드래그해서 놓으면 결합된 축이 만들어진다. 결합된 축이 만들어진 결과는 다음과 같다. 이제 마크를 [자동]에서 [라인]으로 변경하고 행에 있는 [측정값 이름]을 좌측 마크의 라인 아래의 [경로]에 넣어준다. 행에 표현하고자 하는 변수를 넣어준 뒤 측정값을 크기에 추가해준다. 그러면 우측으로 갈수록 커지는 야구방망이같이 생긴 rounded bar chart 그래프가 생성된다. 여기에서 색상을 측정값으로 하거나 측정값 크기 순서대로 정렬하는 등의 과정을 거치면 ..
[Tableau] 달력 차트 만들기 최근 인기를 끌고 있는 앱 중 매일 자신의 감정으로 일기를 쓰는 앱이 있다. 이번에는 그 앱처럼 달력에 모양을 표시하는 달력 차트를 만들어보고자 한다. 우선 날짜와 관련된 변수를 열에는 년월과 요일로, 행에는 주 단위로 놓는다. TIP! 변수 드래그한 동시에 범위 설정하는 방법 변수를 클릭해서 드래그하면 자동으로 범위가 생성되는 경우가 있다. 이 때 변수를 드래그할 때 마우스 우클릭을 하고 드래그하면 필드 놓기 창이 뜨면서 어떤 단위로 변수를 생성할지 설정할 수 있다. 굳이 좌클릭으로 드래그 한 뒤 다시 클릭해야 하는 번거로움을 덜 수 있으니 꼭! 기억하자. 이 때 여러 달이 한꺼번에 보이는 문제가 생긴다. 이를 위해 필터에 년/월 단위로 날짜를 넣고 필터 표시를 단일 값(목록)으로 설정하면 달력처럼 볼..
[Tableau] 날짜 기준 매개변수 생성하기 Tableau에서 매개변수란, 계산이나 필터 또는 참조선 등 다른 계산을 할 때 상수값으로 대체할 수 있는 변수이다. 예를 들어, 어떤 날짜를 기준으로 해당 날짜 이후의 데이터만 확인하고 싶을 때 그 해당 날짜를 받아주는 변수가 매개변수이다. 이번 포스트에서는 이러한 매개변수 중 위의 예시처럼 날짜를 기준으로 매개변수를 생성하는 방법을 알아보자. 우선 왼쪽의 차원 메뉴에서 ▼를 눌러 [매개 변수 만들기...]를 클릭한다. 그 다음 이름을 정하고 데이터 유형에서 날짜를 선택한 뒤, 허용 가능한 값을 선택한다. 여기에서는 날짜에 대한 범위를 다른 변수로부터 지정해줄 것이므로 범위를 체크했다. 해당 범위를 직접 지정해줄 수도 있으며, 데이터 변수에서 불러올 수도 있다. 변수에서 불러올 경우 [필드에서 설정 >..
[통계학] 14-2. 통계적 추론의 개요 - 검정통계량과 오류 이 포스트는 K-MOOC 숙명여대 여인권 교수님의 통계학의 이해 Ⅱ 강의를 기반으로 작성되었습니다. 오늘은 귀무가설에서 표본이 얼마나 비정상적인지 보이는 방법인 검정통계량에 대해 알아보고, 가설검정을 통해 결론을 낼 때 나타나는 오류의 종류와 내용에 대해 배워보고자 한다. 검정통계량 (test statistic) 귀무가설에서 표본의 비정상성을 결정할 때 사용하는 통계량 더보기 통계량 : 미지의 모수를 포함하고 있지 않은 확률변수, 갖고 있는 확률표본들의 함수 → 확률분포 갖고 있음 → 확률적으로 판정하는 부분에서 사용 * 통계량이 무엇인지 헷갈린다면 더보기를 클릭하세요 * 앞으로 배울 검정통계량은 확률분포를 쉽게 유도할 수 있지만, 실제 분석에서는 알 수 없는 경우 많음 분포를 알고 있는 경우, 통계값이..

티스토리툴바