모순(矛盾)? 딜레마(dilemma)

 

학교에서 배우는 클러스터링 방법론은 배치를 기본으로 한다.

KNN이 그마나 빠른 방법론이긴 하지만 1,2초내에 결과를 얻어오기에는 너무 느리다.

그래서 일반적으로 클러스터링을 실시간으로 구현이 불가능하다고 생각을 했다.

 

1년 반정도 전이었나. domain이 제한적이고 사용하는 lexicon이 작다면  batch가 아닌 real time으로 클러스터 구축이 가능하지 않을까라는 생각을 했다.

전에 이 블로그에도 Search Result Clustering( Suffix tree clustering )이라고 해서 글을 남긴적이 있는데

나름 괜찮은 아이디어라고 생각을 해서 구현을 해본적이 있다. prototyp을 구현한 이후 웹을 찾아보니 이미 외국에서는 상용화된 제품까지 나와있는 상태라서 쪼금 좌절( 있을거라 생각을 했지만 .. )

 

암튼 protoype을 구체화 하는 과정에서 이런 저런 방법으로 고민해서 첫번째 product가 나왔다. 이때만해도 이건 기술적인 approch로 생각을 했다.

구현에 사용된 여러가지 기술들이 어느정도 레벨이 되는 기술이라고 생각을 한것이다.

 

그런데 최근에 만든건 위의 프로그램을 기반으로 했지만 상당히 simple하게 구현이 되었다.

근데 이걸 만들때 가지고 있던 생각은 "이건 누구나 구현할수 있는 단순한 프로그램이야. 이걸 technical하다고 말할순 없어"이었는데

결과적으로 내가 처음 구현한것과 두번째로 구현한것을 중간과정을 산출물 처리는 간단하게 할지 복잡하게 많이 생성해서 할지에 따른 작은 선택의 문제만 있을뿐

큰 뼈대에서는 동일한 것이다.

 

같은 것을 가지고 다른 판단을 하는 모순이 생겨버렸다.