• 본 사업은 영상처리 및 이해 기술개발과 4D Interactive 입체 기술개발을 위해 고해상도 Lightfield 카메라로부터 취득되는 고해상도 Lightfield(LF) 데이터를 AI 학습용 데이터로 정제하여 구축 및 공개하는 것을 목표로 함

• 객체추적, 객체 인식과도 같은 영상 해석과 이해 분야
• 영상기반 콘텐츠 제작에 필수적인 영상합성을 위한 깊이 정보 추출
• 4D 인터렉티브 콘텐츠 제작에 필수적인 다시점 객체 복원 및 생성
• 동작 추정 분야의 품질 향상

• LF 데이터는 공간의 모든 지점을 통해 모든 방향으로 흐르는 빛의 양을 담고 있음
• LF 데이터를 획득하기 위하여 카메라 시점, 렌즈, 셔터 스피드 등 LF 카메라 세트 내에서 다양한 configuration 셋업이 가능한 고해상도 LF 카메라를 설계, 제작함
   

• 고해상도 LF 카메라를 구성하는 개별 고해상도 카메라들은 피사체의 빛, 색상정보들과 사진에 대한 메타정보를 취득하며 개별 이미지 간에서는 시차(disparity)를 취득할 수 있음
• 고해상도 LF 카메라를 활용하여 동기화되어 취득되는 개별 영상을 분석, 통합하여 고해상도 LF 데이터로 구축함
• 구축된 고해상도 LF 데이터와 개별 이미지 시퀀스들을 AI 학습용 데이터로 정제하여 구축함으로써 영상처리 및 이해 기술과 4D interactive 입체 기술개발 및 활용에 사용될 수 있도록 함
• 본 제안 컨소시엄은 국내 학계, 국책연구기관 및 산업계의 연구/개발자들이 마음껏 사용할 수 있도록 지재권이 확보된 고품질 LF 원천데이터를 구축하여 이를 정교하게 가공 후 공개할 것임

• LF 영상데이터를 활용하여 png 이미지 75만장을 대상으로 데이터를 구축함
• 다양한 객체 및 17군데 이상의 장소 컨셉으로 일상을 촬영하여 바운딩 박스와 일부 세그멘테이션 라벨링을 수행함
• 또한 32가지 종류의 동작을 클립별로 분류하여 제공함
   

• (1) 다시점⋅다초점 영상 활용 AI 학습데이터의 부재
  - 인공지능(AI), 컴퓨터 비전, 컴퓨터 그래픽스의 주제 중 하나인 다시점⋅다초점 영상으로 얻어진 Lightfield(LF) 데이터로부터의 자유 시점 복원 및 재초점, 객체 인식 및 추정에 관한 연구가 전 세계적으로 활발하게 이루어지고 있으나 이에 대한 국내 공개데이터는 전무한 상황임
   
• (2) 부적합한 해상도, Disparity를 가진 기존 AI 학습데이터
  - 국외에 공개되고 있는 본 과제의 선행 연구개발에 해당하는 LF 데이터의 경우 렌즈 어레이로부터 추출된 LF 데이터들이 대부분임
  - 소형의 렌즈 어레이 방식의 LF 취득 장비를 통해 얻은 LF 데이터들 역시 영상 이미지 간의 disparity와 해상도가 매우 적어 이를 활용한 자유 시점의 결과 영상이 범위가 제한적일 수밖에 없었음
   
• (3) 다시점⋅다초점 영상의 레이블링과 동기화 이슈
  - 다양한 카메라 대수, 카메라 간격, 카메라 렌즈와 바디의 세팅 등을 가변적으로 조절할 수 있는 고해상도 가변형 Lightfield camera rig를 개발하여 이를 활용하여 다양한 형태의 다시점⋅다초점 Lightfield 데이터를 취득하여 이를 AI 학습용 데이터로 정체, 구축한다면 이에 대한 데이터 이용자들의 선택지 또한 높아져서 활용도가 더욱 높아질 것으로 기대함

• 데이터 구성
    1) 이미지 파일 구성
         - 이미지 파일 명 : source+‘/’+장소명+‘/’+클립명+’/‘+클립명+‘_’+프레임넘버+’/‘+클립명+‘_’+프레임넘버+‘_’+카메라넘버+‘.png’
           ├── source/
           │ ├── {location}/
           │ │ ├── {clip-name}/
           │ │ │ ├── {clip-name}_{frame-no}/
           │ │ │ │ ├── {clip-name}_{frame-no}_{camera-no}.png
           │ │ │ │ └── ...
  
   2) 어노테이션 파일 구조
        - 클립레벨 파일 명 : label+‘/’+장소명+’/‘+클립명+‘.json
        - 프레임레벨 파일 명 : label+‘/’+장소명+‘/’+클립명+’/‘+클립명+’_‘+프레임넘버+‘.json
            ├── label/
            │ ├── {location}/
            │ │ ├── {clip-name}/
            │ │ │ ├── {clip-name}_{frame-no}.json
            // LFFrame Label (camera level annotation)
            │ │ │ └── ...
            │ │ ├── {clip-name}.json 
            // LFClip Label(clip level annotation)

• 어노테이션 포맷
   

  어노테이션 포맷 표1

  No		항목		길이	타입	필수여부	비고
  		한글명	영문명
  1		객체	objects		List
  	1-1	아이디	objects[].id	100	String	Y
  	1-2	어노테이션 아이디	objects[].trackingId	10	Number	Y
  	1-3	클립의 매칭아이디	objects[].matchinId	10	Number	N
  	1-4	클래스 아이디	objects[].classId	100	String	Y
  	1-5	대분류	object[].section_category	100	String	N	객체 클래스
  	1-6	중분류	object[].division_category	100	String	N	객체 클래스
  	1-7	소분류	objects[].group_category	100	String	N	객체 클래스
  	1-8	클래스 이름	objects[].className	100	String	Y
  	1-9	클래스 한글이름	objects[].classNameKr	100	String	Y
  	1-10	속성	objects[].properties		List
  	1-10-1	속성 아이디	objects[].properties[].propertyId	100	String	Y
  	1-10-2	속성 이름	objects[].properties[].propertyName	100	String	Y
  	1-10-3	속성 값	objects[].properties[].value	10	String	N
  	1-11	모양	objects[].shape		List	Y
  	1-11-1	카메라 넘버	objects[].shape[].camera-no	10	Number	N
  	1-11-2	바운딩 박스	objects[].shape[].box		Object	N
  	1-11-2-1	x	objects[].shape[].box.x	10	Number	N
  	1-11-2-2	y	objects[].shape[].box.y	10	Number	N
  	1-11-2-3	넓이	objects[].shape[].box.width	10	Number	N
  	1-11-2-4	높이	objects[].shape[].box.height	10	Number	N
  	1-11-3	세그멘테이션 마스크	objects[].shape[].segment_mask		Object	N
  	1-11-3-1	폴리곤	objects[].shape[].segment_mask.polygon		List	N
  	1-11-3-1-1	x	objects[].shape[].segment_mask.polygon.x	10	Number	N
  	1-11-3-1-2	y	objects[].shape[].segment_mask.polygon.y	10	Number	N
  	1-11-4	메타	objects[].shape[].meta		Object	N
  	1-11-4-1	깊이 번호	objects[].shape[].meta.zIndex	10	Number	N
  	1-11-5	속성	objects[].shape[].properties		Object	N

수행기관(주관) : 위지윅스튜디오

수행기관(참여)