Rena Makise

Rena Makise

Thrilling Dream

Introduction to Multimedia System

New Application for Data Management

  • 전형적인 기존의 데이터 관리법 (테이블 형태!)
    • 기존의 데이터들은 테이블형태로 관리, textual or numeric data!
    • 뱅킹이나 항공사
  • 새로운 형태의 데이터들이 등장
    • 정형화된 데이터(테이블 형태)의 형태를 취하지 않음 ex) pdf, hwp
    • 멀티미디어 프로세싱 (오디오나 비디오, 이미지, 그래픽스)
    • 웹에서 쓰이는 데이터 프로세싱 (XML데이터)
    • 디지털 라이브러리(멀티미디어 데이터)
    • 지리정보시스템 (GIS , 위치정보)
    • 생물학적인 DB
    • 데이터 마이닝
    • 분산데이터
  • 시스템은 기본적으로 데이터베이스를 필요로 한다.
  • 데이터베이스 리서치의 흐름과 방향
    • 새로운 애플리케이션을 지원하는 시스템.
    • 전형적인 : data-related topics
    • 의학정보시스템, 법학, 부동산 정보같은 특정한 도메인에 대한 깊은 이해를 필요로 함. (ex. AI와 같은 이유)
  • 첫번째 우표와 비슷한 이미지를 뽑아주시오

  • 지구상 첫번째 멀티미디어 시스템

  • 이미지(상표)를 인풋으로 주고, 하트가 포함된 이미지를 검사.

  • 키워드로 플라워, 컨셉으로 노란색 계열의 이미지를 뽑아달라.
  • 이런것들이 멀티미디어 시스템

Semantic vs Non-Semantic Information

  • 멀티미디어시스템을 구현하기 위해서는 시멘티컬(의미가 있는), 넌시멘티컬(의미가 없는, 부여햐기 어려운)정보가 있어야 한다.
    • Color
      • RGB의 조합, 50,20,75로 주어지면 의미를 찾기 어렵다 : 넌시멘틱, Quantifiable measurement.
        • 하지만 컴퓨터가 처리하기 쉽다.
      • 하지만 some yellow와 같이 주어지면 의미가 있다. : 시멘틱,
        • 하지만 컴퓨터로 처리하기 어렵다. 따라서 사람이 수작업으로 키워드를 붙임.
  • 키 이슈
    • 정확하게 찾아내는것.
      • 이미지/비디오의 특성의 선택
      • 특성의 선택 - 숫자로 표현가능 / 불가
      • 유사도
    • 빨리 찾는것.
      • 인덱싱(색인) - 이게 더 중요
      • 찾는 알고리즘
  • 이미지나 비디오의 특성을 뽑아내서 데이터베이스에 저장

  • 유저가 이미지등을 넣으면 거기서 특성을 뽑아내서 결과를 출력

  • 큐빅을 바탕으로 교수님이 만든것. 렐리번스 피드백이 추가

  • 내가 원하는 결과가 나올때까지 시스템에 피드백을 던져준다. 다만 계속 왔다갔다 피드백을 해야하니 지루함

  • 인공위성으로 찍은 사진으로부터 내가 원하는 정보를 찾겠다.

Video Parsing

  • 비디오검색
    • 비디오는 통째로 검색하기 힘드므로 비디오를 잘라서 검색

      • 비디오를 유사한 이미지들의 집합으로 자르른 것을 비디오 파싱.

        • 인접한 이미지의 차이가 크다 : a shot cut
        • 인접한 이미지의 차이가 크기 않다 : a fade in
        • 마찬가지 : fade out
        • 합쳐지는것. 마찬가지 어렵다. : a dissolve
        • 점점 변해가기에 어디서 잘라야 할지. : a wipe
        • 마찬가지. : a push to the left

      • 비디오 파싱하는 기술이 상당히 어렵다.

    • 비디오 쿼링
    • 비디오 합치기
      • 비디오를 잘라서 대표 이미지를 선택해 만화처럼 배열. 샷의 길이가 길면 크게.
      • 강의 내용을 계층적인 구조로.
    • 유사도
      • 모든 데이터를 점으로 표현.
      • 넣은 인풋과 클러스터를 찾고 유사도를 조사.
      • 넣은 인풋에 대한 유사도를 조사 및 클러스터를 찾는다.
      • 문제는 클러스터를 찾는 것이 어렵다.
  • Interactive Video : 비디오를 보다가 특정 대상을 터치해서 정보를 뽑아내는 것.

Audio/Video Fingerprinting

  • Fingerprinting
    • 조금씩 조금씩 이동하면서 모든 미디어의 정보를 뽑아내 특성을 추출.
    • 특성을 추출해서 데이터 베이스의 데이터와 비교.
    • 그렇게 해서 결과를 추출하는 것이 핑거프린팅.
  • 기술적으로 필요한 것
    • 잡음이 섞여있더라도 정확하게 찾아내는것 : Robustness