내가 쓰고 싶은 멀티미디어 검색 - 입력창에 이미지를 넣게 해줘!


EnswerMe

엔서미(EnswerMe)는 새로 떠오르고 있는 국산 동영상 검색 엔진입니다.
현재 클로즈 베타 상태에 들어가 있고  최근 스마트플레이스 주관의 Demo Day 행사에서 시연과 전략 브리핑을 해서 뉴스도 탔는데 그 내용은 마루날님의 블로그에서 자세히 볼 수 있습니다.
메인 페이지에서 이메일 주소로 테스트 계정 신청하면 하루이틀 안에 금방 계정을 만들 수 있습니다.

처음 이 동영상 검색의 소식과 데모를 보고 흥미있었던 것은 Enswer가 검색 대상 웹 공유 동영상들의 멀티미디어 데이터 부분을 직접 분석하여 '같은 동영상', '같은 컨텐츠의 부분 동영상',
'비슷한 동영상' 들을 엔진 내에서 추려내고 그 결과를 합리적인 순서로 묶어 결과 페이지로 제시한다는 소개때문입니다. 소개만 그랬던 것이 아니고 실제로도 꽤 흥미있게 동작하고 있습니다.


멀티미디어의 내용을 까서 검색하는 시대

이미지, 사운드, 동영상같은 멀티미디어
바이너리 는 사람 귀로 듣고 눈으로 보면 뭐가 뭐랑 비슷하거나 같은 동영상인지 금방 알 수 있지만 검색 엔진 프로그램 관점에서는 그냥 거대한 바이너리 청크일 뿐입니다. 그래서 현재까지의 텍스트 키워드 중심의 검색 엔진 서비스에서는 그 멀티미디어를 포함한 (링크한/임베드한-근본적으로는 그게 그거인) 웹 문서에서 멀티미디어의 메타 데이터 텍스트나 웹 문서 제목과 본문 텍스트에서 '키워드'를 추출하고 색인하여 해당 멀티미디어 바이너리의 검색 색인으로 삼고 있습니다.

네이버 비디오 검색-"노바디"
구글 이미지 검색-"노바디"

와 같은 것이지요. 자주 보던 겁니다.
각 검색 결과 아이템을 누르면 제시된 아이템(멀티미디어)을 포함하고 있는 해당 웹 문서쪽으로 리다이렉트하는 것이 현재의 멀티미디어 검색 관행입니다. 리다이렉트한 페이지에 프레임을 표시하나 안 하나 같은 것은 그냥 선택사항이구요.
보시다시피 같은 이미지/동영상도 많고, 키워드 제목은 비슷하나 의도에 맞지 않은 이미지/동영상도 무질서하게 포함되어 있으며 문서 랭킹에 의한 정렬이 된 결과이긴 하겠지만 그다지 일목요연해보이지는 않습니다.

오디오/비디오 신호처리 기술을 동원, 웹 공유 동영상의 바이너리 스트림을 직접 분석하여 각 프레임의 유사도를 평가하고 멀티미디어의 내용을 직접 인식한다는 Enswer의 검색엔진은 현재의 텍스트 키워드에 의존한 동영상 결과 분석에 비해 이런 장점을 가지고 있다고 선전합니다.
  • 중복된 동영상(동일한 동영상 소스를 여기저기 퍼나른 사용자 생성 페이지들을 포함)을 인식하여 클러스터링(묶기)한다.
  • '동일한 컨텐츠'를 담은 서로 다른 동영상을 클러스터링하면서 컨텐트의 전,후,포함관계를 인식할 수 있으므로 컨텐트의 시간 순서대로 검색 결과들을 나열할 수 있다.
  • 색인된 키워드는 같으나 실 내용은 다른 동영상은 다른 클러스터로 분류하여 일목요연한 결과를 만든다.
  • 동영상의 '퍼나르기'가 일반적인 지금 원본 동영상의 rank를 높여 우선 표시되게 하는데에 미디어 내용의 평가부분이 정확도를 높인다.
  • 저작권 동영상의 필터링 기반으로 동작하여 추후 수익모델을 구축할 수 있다.

아, 그렇군요. 프로그램(검색엔진)이 멀티미디어의 내용 자체를 이해하니 이런 장점이 있군요. 참 좋은 기술 시대예요.


그런데, 사용자 입력은?

그런데, 이 Enswer에 제가 기대했던 것 중 정말 큰 하나가 누락되어 아쉽습니다.
멀티미디어를 검색하는 사용자가 목표로하는 멀티미디어 결과에 도달하기 위해 '텍스트 키워드를 입력하는' 관행에서 벗어나는 검색 UX가 그 기대였습니다.

"노바디" 라는 텍스트 문자열과 '원더걸스 노바디 뮤직비디오 동영상'은 사용자의 뇌속에서는 의미론으로 연결되어있지만, 디지털 데이터로는 완전히 다른 것입니다. 이미지도 사운드도 마찬가지입니다.

가끔 이런 생각이 들 때가 있습니다. "지금 보고있는 이 동영상/이미지/사운드가 포함되어 있는 다른 웹페이지들을 찾아보고 싶다." "이 짤방이 제일 처음 등장한 웹페이지가 어디인지 알고 싶다."

예를 들면 이런 것입니다.

매우 자주 사용되는 유명한 짤방입니다. 유머러스하고 짓궂은 블로그 포스트들에 블로거들이 많이 사용합니다.

이게 매우 재밌게 느껴저서 이 짤방을 사용한 다른 웹문서들 (블로그 포스트들) 도 찾아보고 이 짤방을 처음 만들어 올린 사람의 페이지도 보고 싶습니다. 이왕이면 쭈욱 하나의 목록으로 만들어 보여주면 좋겠습니다.

자, 나는 이미지 검색 엔진에 무엇을 입력해야 합니까?  ........  저기..... 이미지에 대사가 들어가 있으니 그거로라도 찾아볼까요?

구글 이미지 검색 - "틀렸어 이제 꿈이고 희망이고 없어"
네이버 이미지 검색 - "틀렸어 이제 꿈이고 희망이고 없어"

뭐, 그럴 줄이야 알았지만...


틀렸어 이제 꿈이고 희망이고 없어!!! ㅠㅠ


뭐, 그렇군요. 그런겁니다. 구글의 검색 결과 페이지에는 그림들이 한참 많이 있으니 1,2,3,4,... 페이지 번호 하나씩 누르다보면 뒤에 어딘가에서 찾아질지도 모르겠네요.


저는 이럴 때 검색 엔진이 멀티미디어 자체를 입력 key로 쓸 수 있게 해주면 좋겠습니다.
이런 검색 인터페이스를 '이미지로 찾기' 옵션과 함께 제공해주는 것이지요.


                      검색할 이미지 :



음, 맨날 보던 파일 업로드 창 아니겠습니까.

  • 키워드 텍스트 입력 --> [검색엔진] --> 키워드와 같은 색인어로 분류된 이미지 포함 문서 리스트

와 함께,

  • 이미지 입력 --> [검색엔진] --> 같은 이미지를 포함한 문서 리스트                                         
  • 이미지 입력 --> [검색엔진] --> 같은 이미지의 부분을 포함한 문서 리스트
  • 이미지 입력 --> [검색엔진] --> 비슷한 이미지(변형, 패러디) 를 포함한 문서 리스트

이런 걸 추가해주는 것이지요.
또, 웹 상에 존재하는 이미지 자체의 '링크'를 입력받는 방법도 있습니다. 이미지를 포함한 문서의 URL을 입력받는 방법도 있겠습니다. 어느 쪽이든 사용자의 입력으로부터 얻어지는 '멀티미디어 바이너리'를 시작점으로 그것을 key factor로 저장된 문서 검색 결과를 얻게 됩니다.

화제가 되고 있는 사건사고 이미지에 대해 그 이미지를 포함한 원본 뉴스 페이지나 블로거들의 왈가왈부 평가 포스트를 보고 싶을 때, 재미를 느낀 동영상을 포함하며 논평을 늘어놓은 웹페이지들을 찾아보고 싶을 때, 즐겁게 들은 음악이나 사운드 파일을 처음 공개해 걸어놓은 페이지를 찾고 싶을 때... 등등. 저 위에 꿈도 희망도 없는 짤방이야 그렇다치고, 생각보다 많은 사용 사례가 나올 수 있을 것 같습니다.


가능한 얘기인가, 동영상도 가능한가

동영상도 가능합니까? 약간 간접적이지만 현재에도 가능해보입니다.

  • 사용자의 PC에 다운로드되어 있는 동영상 파일이라면 이미지와 마찬가지로 파일 업로드한다.
  • 웹에 있는 동영상이라면 대부분의 flash 기반 웹 동영상은 동영상 페이지 URL과 퍼가기(embed)용 script를 제공하므로 그걸 복사하여 입력한다.
  • 현대적인 브라우저들은 페이지에 보여지고 있는 멀티미디어를 툴바나 외부 입력창으로 마우스 Drag할 수 있는 UI를 가지고 있으므로, 그것을 이용하는 브라우저 플러그인을 제공한다
  • 마우스 오른쪽 버튼 메뉴에 ".....로 이미지/동영상 검색" 같은 메뉴를 만들어 확장할 수도 있다.

이렇게 입력받은 'Key 동영상'은 예를 들면 Enswer같은 회사가 갖고 있는 멀티미디어 분석 기술을 이용하여 유니크한 바이너리 지문 (Finger Print)을 얻어내고, 이미 자체 색인 결과에 잘 저장되어 있을 '동영상별 Finger-Print'를 고속 검색하여 비디오와 원본 문서를 동일한 순서대로 정리해 결과 페이지로 제시하면 되는 것입니다.

Enswer의 경우, 뒷 부분들은 다 개발해 놓은 상태라고 보입니다. 그러니까 동일/유사 동영상 클러스터링 결과를 보여주고 있는 것이겠지요?
다만 해결해야 할 것은 지금 막 입력된 Key 멀티미디어 파일을 분석해서 색인과 비교할 Key 데이터로 변경하는 것은 입력된 텍스트를 처리하는 것보다 훨씬 많은 시간이 소요된다는 점입니다. 사용자를 너무 기다리게 해서는 안 되지요. 이걸 고속화하는 것은 분산 처리와 동시성 처리를 통해  최적화해나갈 수 있을텐데요, 뭐 Demo Day 내용 보니까 Enswer에는 분산 동시 처리 전문가도 있으시다니...

오우, 엄청 쉬운 것처럼 말하고 있네요. 저보고 하라면 하지도 못하면서!

하지만, 어렵고 세심한 기술이긴 해도 Enswer의 기반 기술을 '비디오/오디오 신호처리를 이용한 구별'이라고 말하듯이 동영상과 함께 이미지와 사운드 부분에서도 해당 요소 기술은 꾸준히 발전해왔습니다.


"음악지문? 이거 뭐야?"  [via 한겨레]
"image Fingerprint" 검색 결과 - google


기억하기에도 한참 전에 이미 전화기에 '들려오고 있는 음악을 입력하면' 곡 정보를 찾아 알려주는 이동통신 서비스도 있었구요(그런데 이 좋은 기술은 서비스도 접고 어디로 소리소문 없이 사라졌는지 모르겠네요), 모바일에서의 불편을 해소하기 위해 이미지 인식 기술을 정보 검색에 이용하는 사례도 이 블로그에서 알려드린 적이 있지요. 특히 '이미지'라면 왠만한 크기의 이미지라도 그 Key finger print 생성 과정은 순식간일 것이므로 바로 적용할 일도 멀지 않을 것 같습니다.

구글도 이런 준비를 하고 있습니다.

"VisualRank" 라 이름붙인 이미지 유사성 분석 기반 검색 알고리즘에 대해 올해 5월에 연구 중인 컨셉을 발표했지요. (링크를 방문하면 약간정도 학술적인 PDF 파일도 다운받아 볼 수 있습니다.)

요소 기술이 많이 개발되어있고 새 서비스 UX에 대한 기대가 많은 요즘같은 분위기라면, 비교적 적은 투자로 서비스의 질을 획기적으로 바꿀 수 있는 "멀티미디어 직접 입력"에 대해서 생각해볼만 할 것 같습니다.

Enswer로 말하자면, 구글이 아직 손대지 않은(내부적으로 손 안 댔을리가 없지만 아무튼..)  웹 비디오 데이터 분석과 Finger-print 생성 방식을 이미 타이밍 좋게 확보한 김에, 검색 사용자의 경험 측면에 대해서도 더 연구해 주면 좋겠습니다. 런칭한 서비스가 안착하도록 빨리 쐐기를 박아야지요.

텍스트로 키워드를 입력하는 방식은 필수적인 요소이긴 하지만 그것만 가지고는 너무 지루합니다. :-)


Roess

by roess | 2008/09/29 21:51 | 트랙백(5) | 덧글(33)

트랙백 주소 : http://roess.egloos.com/tb/4642276
☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]
Tracked from 동영상검색 Enswer.. at 2008/09/30 00:03

제목 : 동영상 검색 Enswer.me의 Demo Day 참..
여러분 Demo Day라는 행사를 아시나요? IT 전문 팀블로그인 스마트플레이스가 주최하는 행사로, 새롭게 창업했거나 창업을 준비 중인 회사가 대중에게 회사와 서비스를 소개할 수 있는 자리입니다. 말하자면 신인들의 데뷔무대인 셈이죠. 지난주 토요일 개최된 제 7회 Demo Day에는 동영상 검색 Enswer.me 와 3D SNS 누리엔이 여러분 앞에서 데뷔 무대를 가졌습니다. 저희 Enswer.me Team은 여러분 앞에 훌륭한 데뷔 무대를 선......more

Tracked from Effortless -.. at 2008/10/07 07:05

제목 : 검색 서비스의 성능 지표 - 체류시간과 재방문율
검색 서비스의 성능 지표 - 체류시간과 재방문율 새로운 검색 서비스를 만드는 것은 흥미로운 일이면서도 도전적인 일입니다. 검색이라는 것이 필수불가결한 공공재의 성격을 띠고 있어서, 공익추구의 목표가 있......more

Tracked from 동영상검색 Enswer.. at 2008/10/21 09:27

제목 : Enswer.me 트랙백 이벤트 당첨자 발표~ (..
안녕하세요~ 동영상 검색 Enswer.me 홍보팀의 꼬날입니다. ^^V 화창한 가을날이었습니다. 낮에는 햇볕이 쨍쨍, 살짝 여름 느낌마저 나더군요. 모두들 즐거운 월요일 하루를 보내셨나요? 무려 3주 전에 걸었던 Enswer.me 데모데이 후기 트랙백 이벤트 당첨자를 발표하겠습니다. 마루날님 / Roess'님 / Kong님 / 작은인장님 / Promise4u 님 / 젊은영님 / David.C님 그만님 / wizmusa님 / 학주니님 / 열이아빠......more

Tracked from 동영상검색 Enswer.. at 2008/11/04 01:26

제목 : 동영상 검색 Enswer.me(엔써미) 블로거 간담..
안녕하세요~ 동영상 검색 Enswer.me(엔써미) 입니다. *^^* 지난 9월27일 Demo Day에서 Enswer.me가 블로거 여러분께 첫인사를 드린 후 어느새 한 달이 훌쩍 지났습니다. 그동안 Enswer.me는 Closed-Beta 상태에서 꾸준히 새로운 기능을 개발하고 검색 알고리듬을 개선해 왔는데요. 이번주에는 Enswer.me Closed-Beta v0.7 을 선보일 계획입니다. 지속적인 변화와 개선의 과정 속에서 무엇보다 Ens......more

Tracked from roess' me2DAY at 2009/02/02 21:44

제목 : roess의 생각
상상하면… 금방 나온다. Reverse Image Search라.. 이름 만드는 센스라니!...more

Commented by 마루날 at 2008/09/29 23:37
앤써즈 블로그를 보고 왔습니다.
본문에 제 포스트를 언급해주신 것 감사합니다. ^^;;;

저는 엔써미 서비스를 사용하고 그날 데모를 보면서 느낀 것은
여전히 동영상의 메타정보를 이용한다면 메타 데이터를 검색하기 위한
방안도 필요하다고 생각이 들더군요

메타 데이터라는 것이 워낙 몇 개의 키워드일뿐이라서
사용자들이 입력하는 질의어와 단순히 매칭해서는 좋은 결과가 나오지 않고
(현재 앤써미도 그렇구요)
결국은 질의어와 메타 데이터의 키워드간의 상관관계를 따지는 것이
중요한데, 그러려면 온톨로지 비스무리한 거라도 만들어야 할텐데
지금의 앤써즈 입장에서는 여유가 없어 보입니다. ^^

Roess님의 이미지로 질의한다는 아이디어 역시도 매우 필요한 부분 같습니다.
Commented by 승네군 at 2008/09/30 04:59
이미지로 질의하는건 '꼭' 필요한거죠...
동영상은 큰 사이즈로 인해 무리가 있을거 같고... 플래시의 경우에는.. 되려나? 이건 잘 모르겠고..

하여간 이미지로 질의하는건 꼭 있었으면 나이스하겠네요.. : )
Commented at 2009/10/30 21:04
비공개 덧글입니다.
Commented by roess at 2009/10/30 21:07
넵. 드렸습니다~ 경험으로는 한 사흘쯤 걸려야 도착하는 것 같습니다!
Commented at 2009/10/30 21:41
비공개 덧글입니다.
Commented at 2009/10/30 21:42
비공개 덧글입니다.
Commented by roess at 2009/11/01 20:13
보내드렸습니다 ^^
Commented by Hermione at 2009/10/30 21:47
아아 양파님의 파워인가요 덧글이 일년만에 달리시는군요. ㅎㅎ 요샌 블로깅 잘 안하시는듯. 뭐 저도 그렇지만요.
Commented by roess at 2009/11/01 20:16
그러게 말입니다. 요즘은 그냥 눈팅용 계정이 되어가고 있습니다.
근데 일년이나 됐다니! 좀 부지런히 살아야겠네요 ^^
Commented by 푸른나무 at 2009/10/31 11:08
양파님 이글루에서 웨이브 초대장 보고 왔어요.
저..저도 한 장 보내주시면 안될까요? ^^;
hsokid@gmail.com 입니다. ㅎ
Commented by roess at 2009/11/01 20:14
보내드렸습니다~
Commented at 2009/10/31 14:53
비공개 덧글입니다.
Commented by roess at 2009/11/01 20:14
보내드렸습니다~ ^^
Commented at 2009/11/01 20:18
비공개 덧글입니다.
Commented at 2009/11/02 00:00
비공개 덧글입니다.
Commented by roess at 2009/11/02 02:31
보내드렸어요~ ^^
Commented at 2009/11/02 17:15
비공개 덧글입니다.
Commented by roess at 2009/11/02 18:27
네^^ 이미 보내드렸구요. 경험상으로는 최소 사흘 이상 지난 후에 초대장이 도착했었습니다.
이번 주 후반 되어야 받으시게 될 것 같네요.
Commented at 2009/11/03 01:14
비공개 덧글입니다.
Commented by roess at 2009/11/03 01:17
별말씀을. 보내드렸습니다.
Commented by Prentice at 2009/11/03 08:15
잘 받았습니다. 감사합니다. :)
Commented by youngjune at 2009/11/04 11:40
이미지 검색이면 http://www.tineye.com/ 이곳이 있지 않나요?
아직 베타라 검색 결과가 많지는 않지만...
Commented by roess at 2009/11/04 14:41
네^^ 저도 연초에 tineye.com 확인을 했었습니다.
제가 포스트에서 말한 컨셉과 함께, 브라우저에서 보고 있는 이미지를 바로 던져넣을 수 있는 브라우저 플러그인 배포까지 기술적인 구현은 그럭저럭 되어있는 것 같더라구요.
단지, 마케팅도 잘 못 하고 인덱싱된 문서(이미지)량도 많지 않아서 아쉽습니다.
구글이 Visual Rank를 표방했으니 이제 포지션도 애매하기는 하지요.
Commented at 2009/11/04 19:10
비공개 덧글입니다.
Commented by roess at 2009/11/05 09:43
보내드렸습니다 ^^
Commented at 2009/11/04 20:45
비공개 덧글입니다.
Commented by roess at 2009/11/05 09:44
이메일을 주셔야.. ^^
Commented at 2009/11/05 15:26
비공개 덧글입니다.
Commented by roess at 2009/11/05 16:09
보내드렸습니다 ^^
Commented at 2009/11/05 19:25
비공개 덧글입니다.
Commented at 2009/11/09 14:52
비공개 덧글입니다.
Commented at 2009/12/07 21:58
비공개 덧글입니다.
Commented by roess at 2009/12/08 07:43
보내드렸습니다. ^^

:         :

:

비공개 덧글

◀ 이전 페이지 다음 페이지 ▶