언어처리

WSD (word sense Disambiguation)

고요한하늘... 2007. 1. 2. 23:57

 

 

신혼 여행지 후보를 물색하기 위해 여러 여행지를 검색하던중

 

"피지"가 떠올라 어디 붙어 있는지 여행가기에는 어떤지 확인하기 위해

 

"피지"를 검색했다..

 

검색할 당시에는  "피지"가 중의성이 있는 단어인지 알지 못했다.

검색결과를 살펴보니 피부에 있는 피지와 섬이름의 피지의 검색결과가 혼재 있는것을 보고

이것좀 따로따로 보여줬으면 좋겠다는 생각이 들었다.

 

중의성이 있는 단어를 의미적으로 분류하는것을 전문 용어로 WSD라고 한다. 단어의 의미를 명확히 한다는 뜻으로 일반적으로 동형이의어의 의미를 구별할때 사용한다.

 

이런 경우는 보통 MI(Mutual Information)를 쓰면 될것 같은데, 정확도 판단이나,어디에 속하는 MI 인지를 판단하기 위해서는 자언어 처리에 default라고도 할수 있는 오랜 시간 수작업이 필요할듯 하다.

 

그냥 드는 생각으로 MI를 적어보면

 

(여행지)피지 : 여행 ,뉴질랜드, 섬, 유학, 태평양

(피부)  피지 : 코, 여드름, 분비물, 제거, 모공

 

 

아래 그림과 같이 보여주면 사용자입장에서  결과를 찾을때 좀더 편하지 않을까....(사용자가 여행지를 찾는지 피부관련 용품을 찾는지 모른다면)