ICA와 DNN을 이용한 방송 드라마 콘텐츠에서 음악구간 검출 성능^*

ICA는 스테레오 신호에 대하여 신호 분리가 가능하기 때문에 오디오 신호가 입력되면 모노/스테레오 구간을 분할한다. 모노/스테레오 구간은 아래의 식과 같이 오디오 신호에서 채널의 신호 차를 구하여 임계치보다 작으면 모노 구간, 임계치보다 크면 스테레오 구간으로 한다.

$diff=mean(abs(x_l-x_r))$

x_l는 스테레오 신호에서 좌측 신호를 나타내고, x_r는 우측 신호를 나타낸다. 신호 차는 좌측과 우측 신호의 차에 절대 값을 취하여 평균을 구한다.

스테레오 구간은 다음 ICA 기반 음악/음성 분리 단계로 넘어가서 음악 신호를 분리하고 모노 구간은 다른 처리를 하지 않고 두 구간을 시간 순에 따라 연결한다.

음악/음성 채널을 분리하기 위하여 ICA 알고리듬(Hyvärinen, 1999)을 적용하였다. 중심 극한 정리(central limit theorem)에 의하면 둘 이상의 신호가 혼합되면 분포는 정규분포에 가까워진다. ICA는 중심 극한 정리와 반대로 둘 이상의 신호가 혼합된 신호를 분리하기 위하여 입력 신호에 역혼합 행렬(demixing matrix)을 곱한 결과가 비가우시안 분포(non-Gaussian distribution)를 가지도록 역혼합 행렬을 추정하는 과정이다. 이 때, 비정규도(non-Gaussianity)를 측정하는 척도로서 첨도(kurtosis), negentropy, maximum likelihood, infomax, mutual information 등이 있다(Hyvärinen, 1999). 본 실험에서는 negentropy 척도를 이용하여 역혼합 행렬을 추정하였다. 아래의 식은 ICA 알고리듬 관련 식이다.

$x=As$

$y=Wx$

x는 혼합 신호, A는 혼합 행렬(mixing matrix), s는 소스(source) 신호, y는 추정된 소스 신호, W는 역혼합 행렬이다. 혼합 신호 x는 혼합 행렬 A와 소스 s의 곱에 의하여 생성된다. 추정된 소스 신호 y를 얻기 위하여 역혼합 행렬 W를 혼합 신호 x에 곱하여 얻는다. 이 때, 역혼합 행렬 W는 negentropy 척도를 이용하여 비정규도가 가장 크게 되도록 추정된다. 아래는 negentropy 척도 J(y)를 나타내는 식이다.

$J(y)=H(y_{gauss})-H(y)$

H는 엔트로피 함수, y_gauss는 y와 동일한 평균 및 분산을 가지는 가우시안 분포를 의미한다. J(y)는 항상 0보다 같거나 크며, y가 정규 분포를 따를 때 0이 된다. 반대로 y의 비정규도가 클수록 더욱 큰 값을 가진다. y의 비정규도가 클수록 소스 신호 s를 잘 추정한 것이므로 J(y)가 큰 값을 가지도록 역혼합 행렬 W를 추정한다. 별도의 파라미터 없이 빠르게 역혼합 행렬 W를 추정하기 위하여 고정점 알고리듬(fixed point algorithm; Hyvärinen, 1999)을 이용한다. 역혼합 행렬 W를 혼합 신호 x에 곱하여 분리된 채널 신호를 얻는다.

분리된 채널 신호는 분리 이전 신호와 신호 크기가 다르기 때문에 신호 볼륨을 매칭하는 과정이 필요하다. 신호의 크기가 다르면 이후에 특징을 추출하였을 때, 에너지에 해당하는 특징에서 특징 값 차이가 크게 난다. 신호 볼륨을 매칭하기 위하여 분리된 신호에서 에너지가 높은 구간과 해당 구간에서 분리 전의 신호와의 정규화 비를 계산한다. 계산된 정규화 비를 분리된 신호에 곱하여 분리 이전 신호와 볼륨 크기를 매칭한다.

볼륨 매칭이 된 두 채널 신호에서 음악 채널을 선택하여야 한다. 음악 채널을 선택하기 위하여 각 채널에서 음악 신호의 특징을 반영한 값을 얻어야 한다. 음악 신호는 크로마그램의 12음계에서 비음악 신호보다 peakiness가 높게 나타난다. 이러한 특징을 반영하기 위하여 첨도, 엔트로피 등을 이용할 수 있다. 본 연구에서는 크로마그램에 엔트로피 개념을 적용하여 음악 채널을 선택하였다. 크로마그램은 모든 주파수 대역을 12음계의 벡터 길이가 1(unit length)이 되도록 정규화된 에너지로 나타내기 때문에 음악 특성이 잘 반영된다. 크로마그램 계산은 Chroma toolbox(Müller & Ewert, 2011)를 이용하였다. 크로마그램에서 peakiness를 수치화하기 위하여 스펙트럼 엔트로피(spectral entropy; Mirsa et al., 2004)를 응용하였다. 스펙트럼 엔트로피는 전력 스펙트럼 밀도를 확률로 간주하여 엔트로피를 정의한 것으로써, 본 논문에서는 크로마그램을 확률값으로 변환하여 크로마그램 엔트로피를 정의하였다. 12음계 에너지의 peakiness가 높으면 엔트로피가 작고 peakiness가 작으면 엔트로피가 크기 때문에, 엔트로피가 평균적으로 작은 채널을 음악 채널로 선택한다. 음악 채널을 선택하기 위한 크로마그램 엔트로피 H(p_n,_f) 식은 아래와 같다.

$p_{n,f}=\frac{{\displaystyle \sum _{m=1}^{10}{x}_{m,f}}}{{\displaystyle \sum _{f=1}^{12}{\displaystyle \sum _{m=1}^{10}{x}_{m,f}}}}$

$H(p_{n,f})={\displaystyle \sum _{f=1}^{12}{p}_{n,f}\log \frac{1}{p_{n,f}}}$

f와 m은 크로마그램에서 12음계 스케일과 0.1초 단위 프레임 인덱스를 나타낸다. x_m,f는 크로마그램에서 m 프레임, f 음계의 12음계 벡터 길이가 1로 정규화된 에너지 값이다. n은 1초 단위 프레임의 크로마그램 인덱스를 나타낸다. p_n,_f은 n 프레임, f 음계의 확률값이다. 식 (5)는 시간 축을 따라 나타나는 횡 성분을 고려하기 위하여 10개 프레임을 합하고, 12음계 스케일 에너지를 합이 1이 되도록 하는 확률 질량 함수이다. 식 (6)은 크로마그램 엔트로피를 구하는 식이다. 식 (6)에서 구한 두 채널의 크로마그램 엔트로피 평균을 비교하여 더 작은 평균값을 가지는 채널을 음악 채널로 선택한다.

방송 콘텐츠에는 음성 신호와 음악 신호가 많이 존재하기 때문에 음성인식에서 많이 쓰이는 MFCC 특징을 이용하였다. 음성과 다른 종류의 음향들을 모델링하기 위하여 실험을 통하여 기존 음성인식과 다른 파라미터를 이용하였다. MFCC 특징과 MFCC 특징의 델타와 델타-델타 값을 추가하여 특징으로 이용하였다.

SAD는 각 프레임의 0 번째 MFCC 계수의 로그 에너지(logE)를 기반으로 묵음 구간인지 오디오 신호가 활성화된 구간인지를 탐색하는 부분이다. 신호의 에너지를 계산하고 임계치 이상이면 신호 활성 구간, 임계치보다 작으면 묵음 구간으로 결정한다. 임계치는 다음과 같은 식으로 정의한다.

$T=5.5+5.5\times \left(\frac{1}{N}{\displaystyle \sum _{i=1}^N\left(\log x_i^2\right)}\right)$

x_i는 i번째 프레임의 0 번째 MFCC 계수 값이고, N은 입력된 오디오 신호의 전체 프레임 개수이다. 0.5는 가중치, 5.5는 평균 에너지가 0일 경우를 대비하여 넣어주는 인자이다.

딥러닝 기반 음향 모델을 이용한 분류기가 GMM보다 성능이 더욱 좋다는 연구가 많이 있었다(Hinton et al., 2012; Saon et al., 2013). DNN을 이용하여 음악, 음성, 잡음, 혼합 클래스를 모델링하고, 프레임 단위로 클래스를 분류하여 음악 구간을 검출한다.

분류기에서 추정된 결과는 프레임 단위이므로 연속된 프레임들 사이에 주변과 다른 결과를 가지는 프레임이 있다. 이러한 가짜 피크(spurious peak)를 없애주기 위하여 메디안 필터(median filter; Justusson, 1981)를 적용한다. 현재 프레임을 중심으로 양쪽으로 N개씩, 총 2N+1개의 프레임에 대하여 빈도수가 가장 높은 클래스로 현재 프레임을 재결정한다. 본 연구에서는 N을 50개로 설정하여 실험을 진행하였다.