고요한 하늘

"당신이 말한게 이 노래겠네" 라는 문장이 있을께 "노래겠네" 는 노래이겠네에서 '이'가 생각된 형태이다. 여기서 '이'를 지정사, 서술격조사, 서술격 어미, 계사 등으로 호칭한다. 1963년 발표된 학교문법통일안에 서술격조사로 정하고 있다. ( 참고 : http://www.korean.go.kr/nkview/nklife/2000_2/10_2.ht..

정규표현식(regular expression) test site 한글도 처리되는것 같다. 아래쪽에 처리할 내용을 넣고 위쪽 입력창에 패턴을 입력하면 해당 패턴이 하일라이팅 된다. http://regexpal.com/

간단히 개념을 살펴보면 문서와 단어 간의 관계 즉 문서 D1에 w1, w2, w3가 있다고 할때 문서와 단어사이에 latent valuable을 넣어 문서 D1이 w1으로 가기 위해 z1을 거쳐야 한다라고 가정하고 D1에서 z1의 확률과 z1에서 w1의 확률을 계산하는 과정이 PLSA의 주요 과정이 되겠다. aspect model의 graphical ..

[출처] KISS ILVB Tutorial(한국정보과학회) 에서 발표( Dr. Sung-Jung Cho)된 내용 중 발췌 얼마전에 Markov Model에 대해서 주석을 달아서 올렸는데, 이번에는 HMM에 대해서 알아보자 지난번 글에서 언급되었듯이 MM과 HMM의 차이점은 상태(state)를 관측할 수 있는가에 달려있다. 날씨나 동전던지기와 같은 사건(event)에..

사용자들이 입력하는 쿼리를 3일 정도 지켜본것 같다. 사용자들의 쿼리에는 어떤 의도가 숨어있을까.... 한참을 보다보니 아이러니한 상황이 눈에 보였다. 자신이 무엇을 찾는지 철저하게 의도를 감춘 쿼리(싱글텀)보다 자신의 의도를 마음껏 표현한 쿼리(멀티텀)의 검색 결과가 훨씬 박하다. 다음 검..

쿼리로그를 모니터링 하다 보면 원하는 것은 하나인데 참으로 다양하게 들어오는 구나 라는 생각을 했다. 예를 들면 "아이가 열이 날때" 어떻게 해야할지 몰라 검색을 한다고할때 표현할수 있는 방법은 1. 아이가 열이 나요 2. 아이가 열이나요 3. 아이가열이나요 4. 아아가 열날때 5. 아이가 갑자기 열이..

네이버랩에 가끔 들려 새롭게 업데이트 되는 서비스가 없는지 확인하곤 하는데 우연한 기회에 네이버에서 사용하는 형태소 분석 결과를 추축할수 있는 페이지를 발견하게 되었다. 랩매뉴중 하나인 뉴스클러스러링 페이지를 보면 우측에 이슈 키워드라고 보여주는 메뉴가 있다. 플러스 표시를 클릭하..

naive bayes classifier는 스팸 처리에 사용하는 대표적인 알고리즘이다. 이전에 스팸으로 처리한 문서를 기반으로 앞으로 들어오는 문서가 스팸문서인지 아닌지를 판단하는 방법이다. 알고리즘 앞에 naive라는 이름이 붙은 이유는 다음과 같은 이유때문이다. 문서 A에 a, b,c라는 단어가 있다고 할때 b가 나타..

single link : 클러스터 안에서 가장 가까운 문서의 유사도를 가지로 클러스터링을 한다. complete link : 클러스터안에서 가장 먼 문서의 유사도를 가지로 클러스터링을 한다. 아래 그림을 보면 왼쪽 그램은 single link이고 오른쪽 그램은 complete link이다. 왼쪽 그램에서 d2를 기준으로 d3와 d6사이의 거리를 계산..

사랑스러운 vs 사랑스런 최근에는 스런과 스러운 둘다 많이 사용을 하고 있는데 엄밀히 문법적으로 보면 사랑스러운이 맞는 표현이고 사랑스런은 틀린 표현이란다. 사랑스럽다는 'ㅂ'불규칙 용언으로 일부용언과 결합할때 'ㅂ'이 '우'로 바뀌어 '사랑스러운'과 같은 형태가 만들어진다. 그런데 스러운 ..