법과학적 활용을 위한 삼성 스마트폰 음성 녹음 파일의 메타데이터 구조 및 속성 비교 분석 연구^*

실험에 사용한 삼성 스마트폰의 기종과 안드로이드 버전에 따라 스마트폰 자체 음성 녹음 및 편집 어플리케이션에서 지원하는 음성 녹음 모드에 차이가 있었다. 실험에 사용한 삼성 스마트폰에서 확인 가능한 음성 녹음 모드는 다음과 같다.

실험에 사용한 각 스마트폰에서 지원하는 가능한 모든 모드에서 음성 녹음을 진행하여 원본 음성 파일을 생성하였다. 34개 스마트폰에서 총 137개의 원본 음성 파일을 생성하였다. 이는 위변조 판별 외에 검증을 위해 제출되는 음성 파일의 녹음에 사용된 기종, 안드로이드 버전, 녹음 모드, 그리고 녹음 음질을 추가로 식별하기 위하여 필요한 메타데이터를 확보하기 위한 것이다.

원본 음성 파일과 원본을 편집한 편집 음성 파일의 메타데이터 차이를 판별하기 위하여 편집 음성 파일의 수집이 필요하다.

갤럭시 스마트폰의 자체 음성 녹음 및 편집 어플리케이션에서 지원하는 편집 방식은 ‘선택한 영역 삭제’와 ‘선택되지 않은 영역 삭제’의 두 가지가 존재하였다.

편집 방식과 원본 파일의 녹음 모드 및 음질에 따라 메타데이터에 미치는 영향을 확인하기 위하여 2016년 출시 안드로이드 버전 8.0 갤럭시 S7, 2017년 출시 안드로이드 버전 9.0 삼성 갤럭시 S8, 2019년 출시 안드로이드 버전 11 갤럭시 S10e를 이용하여 사전 실험을 진행하였다.

사전 실험 결과, 상이한 녹음 모드로 생성된 음성 파일은 메타데이터의 udat(User data) 블록 내부 구조에서 유의미한 차이를 보였으며 상세한 결과는 ‘4.2.4. udat(User data) 블록 내부 구조 차이’절에서 상세히 설명하였다. 서로 다른 녹음 음질은 평균 비트 속도(average bitrate), 샘플 속도(sampling rate) 등에 영향을 미치지만, 이들이 메타데이터를 통한 위변조 판별에 유의미한 영향을 미치지 않음을 확인하였다. 또한, 편집 방식과 횟수에 있어서 편집 여부만 메타데이터에 유의미한 영향을 미칠 뿐 편집 방식과 횟수는 메타데이터에 유의미한 영향을 미치지 않다는 점이 나타났다.

사전 실험 결과에 따라, 생성한 모든 원본 음성 파일에 대하여 편집 음성 파일을 생성하지 않고 일반 음성 녹음 모드에서 일반음질로 녹음된 원본 음성 파일에 대하여만 편집 음성 파일을 생성하였다.

편집 과정은 다음과 같다. 실험 기기를 통해 원본 음성 파일을 녹음한 후 해당 기기에 탑재되어있는 음성 녹음 및 편집 어플리케이션을 이용하여 원본 음성 파일의 중간 부분에서 앞뒤로 10초가량을 잘라내어 삭제하였으며, 이를 다른 이름으로 저장하였다.

녹음 및 편집 과정을 통하여 생성된 원본과 편집 음성 녹음 파일에 대하여 그림 2와 같이 MediaInfo 프로그램(MediaArea, 2018)을 이용하여 XML 문서 형식으로 메타데이터를 추출하였다. 실험에 사용된 원본 녹음 파일 및 편집 파일은 모두 MPEG-4 컨테이너를 준수하는 파일이었다.

그림 2. | Figure 2. MediaInfo를 통해 XML 형태로 추출한 메타데이터 예시 | A metadata example in XML format extracted by MediaInfo

Download Original Figure

MPEG-4 메타데이터 구조(itom tree)는 메타데이터 블록과 속성이 나타나는 순서를 의미한다.

블록(block)은 ‘청크(chunk)’, ‘박스(box)’, ‘아톰(itom)’으로 불리기도 하며 그림 2(1)과 같이 “<block .. >”으로 나타난다. 하나의 블록은 블록의 이름(name), 위치(또는 주소, offset), 그리고 크기(size)로 표시된다. 블록 내부에는 하위 블록과 속성이 나타날 수 있다. 본 연구에서는 편의상 A 블록의 하위에 존재하는 B 블록을 ‘A>B’로 표기한다.

속성(attribute)은 그림2(2)와 같이 “<data ..>”로 나타나며, 속성의 이름(name)과 위치(offset), 그리고 속성의 값이 표시된다.

반정형 형태의 데이터인 음성 파일 메타데이터를 정형화하여 MySQL를 통하여 구축한 데이터베이스에 저장하였다. 해당 과정은 JAVA를 통하여 자체적으로 구축한 소프트웨어를 통하여 진행되었다.

삼성 스마트폰에서 생성한 원본 음성 파일 메타데이터의 최상위 블록은 ftyp(File type), mdat(Media data), moov(File header)로 구성되어 있다(그림 3 참고). 2015년 이전 출시된 안드로이드 6.0.1 기종에서 편집된 음성 녹음 파일의 메타데이터에서는 원본 파일의 메타데이터에는 존재하지 않는 skip(Skip) 블록이 최상위 블록으로 생성된다.

2015년 이전 출시 된 안드로이드 6.0.1 기종에서는 음성 파일을 편집할 경우, moov(File header) 블록 내부 trak(Track)과 udta (User data) 블록의 순서가 원본 순서인 udta, meta(Metadata), trak인 것과 반대로 trak, udta순으로 나타난다.

그림 4와 같이 meta(Metadata) 블록은 녹음 파일에 대하여 편집이 수행될 경우 사라진다. meta 블록 내부에는 안드로이드 버전 정보가 존재하기 때문에, 6.0.1 이상 삼성 원본 음성 파일은 자체 파일을 통해 녹음 기종의 OS 정보를 확인할 수 있지만, 편집을 수행할 경우, OS 정보를 알 수 없게 된다.

그림 4. | Figure 4. 원본 음성 파일과 편집 음성 파일의 meta(Metadata) 블록 차이 | meta (Metadata) block difference between the original and edited speech file

Download Original Figure

udta(User data) 블록은 음성 녹음 및 편집 소프트웨어 인코더 단에서 자율적으로 확장이 가능한 블록으로서 인코딩 소프트웨어의 특성이 반영된다. udta 블록 내부에서 나타나는 SDLN, smrd, smta 블록은 삼성 스마트폰의 자체 탑재 음성녹음 및 편집 소프트웨어에서 녹음 수행 시 파일 내부에서 나타나는 블록으로 알려져 있으며(Michalek, 2019), udta 블록은 그 자체가 제조사 고유 메타데이터를 표시할 수 있는 블록이다. 삼성 자체 음성녹음 및 편집 소프트웨어에서 어떤 음성 녹음 모드(기종 및 버전에 따라 설정 가능한 모드는 상이)로 생성하였는지에 따라 udta 블록 내부는 상이한 구조와 속성을 가지게 된다.

표 2는 현재 식별한 녹음 모드에 따른 udta 블록의 내부 구조의 차이를 정리한 것이다. 안드로이드 버전 5.0.1에서 10까지의 통화 녹음 모드(call recording)에서 생성한 파일의 udta 블록은 하위 블록으로 SDLN, smrd, smta의 세 개가 순서대로 나타난다. 또한 갤럭시 노트 에지(안드로이드 6.0.1)의 일반 음성녹음 모드(normal mode recording)로 생성한 파일도 동일한 구성을 가진다. 그러나 갤럭시 노트 에지(안드로이드 6.0.1)의 인터뷰 모드(interview mode)와 회의 모드(meeting mode)에서 생성한 파일은 udta 블록 내부에 metd 하위 블록이 추가로 나타남을 알 수 있다.

표 2. | Table 2. udta(User data) 블록 내부 구조 | udta (User data) block internal structure

udta Structure	Device and recording mode
	Android version 5.0.1–10 call recording, Android version 6.0.1 Galaxy Note Edge normal mode recording
	Android version 6.0.1 Galaxy Note Edge interview and meeting mode recording
	Android version 6.0.1–8.1.0 normal mode recording
	Android verison 8.0–10 interview mode recording and, Galaxy Note 10 normal mode recording
	Android version 8.0–10 normal mode recording
	Android version 7.0–8.1.0 interview mode recording

Download Excel Table

녹음 모드에 따른 이와 같은 차이는 위변조 분석에 유의미하게 작용하지는 않지만, 증거로 제출된 파일이 어떤 기기의 어떤 모드에서 생성되었는지를 유추하는 데 중요한 요소이다.

ftyp(File type) 블록 내부에서 나타나는 속성과 순서는 모든 원본 음성 파일에서 동일하게 나타난다. Major brand 속성의 값은 ‘3gp4’이며, Major brand version의 속성은 0, Compatible brand 속성이 2개 존재하며 각각 순서대로 ‘isom’, ‘3gp4’로 나타난다. 편집을 수행할 경우, 안드로이드 6.0.1 이상에서는 해당 값들이 동일하게 유지되지만, 일부 안드로이드 6.0.1과 안드로이드 6.0.1 미만 기종에서는 Major brand의 값은 ‘3gp7’, Major version의 값은 768, Compatible brand의 값은 ‘3gp6’과 ‘ison’ 또는 ‘3gp7’과 ‘isom’으로 변경되었다.

moov 내부 mvhd(Movie header) 블록에서 나타나는 Time scale 속성의 경우 그림 5와 같이 원본 음성 파일에서는 해당 값이 1,000으로 나타나지만, 편집 음성 파일의 경우 해당 속성이 1,000이 아닌 44,100, 48,000 등으로 나타난다. 해당 현상은 안드로이드 6.0.1 이하 또는 안드로이드 11 이상의 경우에서 나타나지 않으며, 안드로이드 6.0.1 이하의 경우 편집 음성 파일의 Time scale이 1,000으로 나타나는 경우가 존재하며, 안드로이드 11 이상의 경우 원본 음성 파일의 Time scale값이 10,000이며 편집 시 Time scale값이 10,000이 아닌 값으로 변경된다.

그림 5. | Figure 5. mvhd(Movie header) 블록 일부 | Part of the mvhd (Movie header) block

Download Original Figure

moov→trak→mdia(Media)→mdhd(Movie header) 블록 내부의 Time scale 속성과 혼동하지 않도록 유의해야 한다.

moov>trak>tkhd(Track header) 블록 내부에는 Flags, Create time, Modification time, Volume 등의 속성이 그림 6과 같이 존재한다. Flags 속성의 값은 원본 음성 파일에서 7로 나타나지만, 편집 파일의 경우 1 또는 15로 나타난다. Volume 속성은 원본 음성 파일에서는 256으로 나타나지만, 편집 음성 파일에서는 0으로 변경된다. 원본 음성 파일의 경우 Creation time과 Modification time이 일치하지만, 편집 음성 파일의 경우 Modification time의 속성이 변경되어 Creation time과 Modification time이 일치하지 않는다. Volume과 Creation time, Modification time 변경 현상은 2015년 이전 출시된 안드로이드 6.0.1의 경우 나타나지 않는다.

그림 6. | Figure 6. tkhd(Track header) 블록 일부 | Part of the tkhd (Track header) block

Download Original Figure

moov→trak→tkhd→mdia→minf(Media information)→stbl(Sample table)→stsc(Sample to chunk) 블록 내부의 Number of entreis 속성은 원본에서는 1이지만, 편집을 수행할 경우 1이 아닌 값으로 변경된다.

moov→trak→tkhd→mdia→mdhd 블록 내부의 Language 속성은 원본에서 모두 0(English)으로 나타나지만, 편집을 수행한 경우 일부 안드로이드 6.0.1 기종의 경우 해당 값이 21,956(undefined)으로 변경되었다.

원본 음성 파일의 경우 그림 7(1)과 같이 moov→trak→tkhd→ mdia→mdhd→hdlr(Handler reference)블록 내부에 component name 속성이 존재하며, 해당 값은 SoundHandle로 나타나지만, 편집 음성 파일의 경우 그림 7(2)와 같이 해당 속성이 나타나지 않는다.

그림 7. | Figure 7. hdlr(Handler reference) 블록 일부 | Part of the hdlr (Handler reference) block

Download Original Figure