위키피디아형 검색 엔진?

위키피디아, 구글 검색엔진과 정면대결?: (세계일보)

위키피디아의 설립자가 위키피디아처럼 자원봉사자들의 노력으로 만들어지는 검색 엔진을 만들 거라고 한다. 내심 구글을 따라잡는 검색 엔진이 목표인 모양인 것으로 보인다. 그가 구상하고 있는 자세한 방식은 모르겠지만, 위키의 방식으로 검색은 아무래도 무리가 아닐까 싶다. 그 이유는 대략 세 가지 정도로 정리해 볼 수 있다: 무엇보다도 보람이 없고, 양이 방대한 데다 다른 언어에 무력한 시스템이기 때문이다.


위키피디아가 '자원봉사'의 방식으로 성공할 수 있었던 것은, 각 분야의 전문가 내지는 준전문가들이 '내가 지식을 전달하는 전달자다'라고 하는 일종의 사명감이나 명예욕 또는 최소한 재미 같은 것을 느낄 수 있는 곳이었기 때문이다; 마치 디드로Diderot를 비롯한 계몽 철학자들의 결론이 백과전서였던 것처럼 말이다.

(프랑스는 계몽주의의 '발상지'였음에도, 불어에는 '계몽주의'라는 단어가 없다. 불어로 계몽주의는 빛의 시기Siécle de lumière라고 하는데, 여기는 빛이 가진 '지식'과 '지혜'의 속성이 잘 표현되어 있다. 그리스 신화를 잘 들여다보면 프로메테우스가 코카서스 산에 묶이게 된 것도 '불'을 인간에게 전해주었기 때문이라고 했다. 프랑스의 철학자 바슐라르Bachelard는 『불의 정신분석』에서 아버지나 선생님보다 더 잘 알고 싶은 경향을 '프로메테우스 콤플렉스'라고 이름 붙이기도 했다. 길게 이런 이야기를 하는 것은, 위키피디아를 이끌던 유저들은 자신들을 일종의 '프로메테우스'나 '계몽철학자'들로 여겼을 것이라는 짐작 때문이다.)

하지만, 검색 알고리듬을 기계 대신 수행하는 작업은 자원봉사로 하기에는 보람이 지나치게 적다. 한국의 입장에서 보면 실제로 많은 작업을 사람이 하는 '통합검색' 시스템이 있어서 잘 알 수 있는데, 그것은 흔히 노가다(<どかた, 막일)로 불릴 만큼 고된 일이다. 한국에서는 돈을 받고서야 하는 일이라는 말이다.

더구나 백과사전과 일반 검색 대상 웹페이지는 그 양이 비교도 안 될 정도로 차이가 크며, 업데이트 속도도 '하늘과 땅 차이'다. 그 모든 페이지들에 조금이라도 사람의 손길이 미쳐야 한다면 그 시간과 비용이란 엄청날 것이다.

마지막으로, 구글과는 달리 위키피디아형 검색 엔진은 개발자들 또는 자원봉사자들이 사용하는 언어(아마도 영어) 이외의 언어에는 절대적으로 무력해지고 마는 것이다. 각 언어의 문법 구조만 알면 자연언어처리를 통해 자동으로 목록이 만들어지는 구글형과 달리 사람의 손길이 필요한 구조는 사람들이 자신이 아는 언어로만 수행할 수 있다는 점이다. 따라서 위키형 검색 엔진이 성공하려면 각 언어권마다 충분한 수의 열정적인 자원봉사자들이 있어야 한다는 말이 된다.


그러므로 내 생각에 위키아 검색엔진의 성공 가능성은 극히 낮다. 위키아가 잊고 있는 것은 그뿐이 아니다: 구글이 개발하거나 사들인 수많은 툴들... 블로거닷컴, 피카사, 캘린더, 지메일, 스프레드시트 등도 이제 꺾기 힘든 벽이 되었다...