한국어 text-to-speech(TTS) 시스템을 위한 엔드투엔드 합성 방식 연구^*

<그림 2>에 해당하는 CBHG 모듈은 Lee et al.(2016)이 제안한 기계 번역을 위한 인코더로부터 착안된 구조로, 1차 convolution bank, highway 네트워크, bidirectional gated recurrent unit(GRU)로 이루어져 있고, 이를 줄여서 CBHG라고 부른다(Srivastava et al., 2015; Cho et al., 2014; Chung et al., 2014). 1차 convolution bank에서는 unigram부터 K-gram까지를 모델링하기 위해 1부터 K까지의 길이를 가지는 필터로 입력을 convolution하고, 그 결과들을 쌓는다. 그리고 local invariance를 키우기 위해 max pooling을 한다. 여기서 local invariance를 키운다는 것은, 문맥이 달라져도 변하지 않는 부분들을 강조한다는 것으로 볼 수 있다. 이때 시간축 상의 해상도(resolution)를 유지하기 위해 stride=1로 한다. 이후 high-level feature들을 뽑기 위해 projection이라고 부르는 몇 층의 1차 convolution을 거친 뒤 highway 네트워크까지 거치도록 한다. 이때 모든 1차 convolution은 batch normalization을 함께 사용하여 internal covariate shift 문제를 해결한다(Ioffe & Szegedy, 2015).

그림 2 / Figure 2. CBHG 구조 / Structure of CBHG CBHG, 1-D convolution bank + highway network + bidirectional gated recurrent unit

Download Original Figure

Projection 후에 residual connection을 적용하여 1차 convolution들의 결과에 처음 입력을 더한 값이 highway 네트워크의 입력으로 들어가게 된다(He et al., 2016). Residual connection은 보통 상당히 깊은 구조에서 훈련의 수렴을 돕는다고 알려져 있는데, 여기에서는 깊지 않은 구조임에도 불구하고 수렴과 일반화에 도움이 되는 것을 확인했다. Highway 네트워크는 입력이 x, 출력이 y라고 할 때, 아래와 같이 한 층의 신경망을 거친 결과, H(x, WH)와 원래 입력 두 값을 weighted sum하는 구조이다.

$y=H\left(x,W_H\right)•T\left(x,W_T\right)+x•C\left(x,W_C\right)$

이때 Tacotron은 C(x, WC) 대신 1-T(x, WT)를 사용하고, W_H와 W_T는 모두 훈련을 통해 구한다. 이 역시 모델의 일반화에 도움이 된다. Highway 네트워크의 결과가 최종적으로 bidirectional GRU의 입력이 된다. Bidirectional GRU의 forward annotation vector와 backward annotation vector를 연결한 벡터가 최종적으로 입력의 annotation vector가 된다.

인코더는 입력 문자 임베딩 열을 받아 annotation vector를 출력하는 부분으로서, Tacotron은 보다 robust한 인코더를 구현하기 위해 RNN이 아닌 CBHG를 사용하고, 그 전에는 입력 문자 임베딩 열이 pre-net을 거치도록 한다. 이때 입력 문자 임베딩 열은 각 문자를 one-hot 벡터로 변환한 뒤, 연속 벡터로 변환한 결과를 나열한 것이다. Pre-net은 dropout 기법을 적용한 2층의 fully connected layer로서 과적합(overfitting)을 방지하고 훈련이 수렴하는 것을 돕는다(Srivastava et al., 2014).

디코더는 특정 time step 프레임의 스펙트로그램을 입력으로 받고, 다음 time step 프레임의 스펙트로그램을 출력한다. 본 연구에서는 Bahdanau et al.(2014)과는 달리, Vinyals et al.(2015)이 제안한 논문에서와 같이 attention RNN을 따로 두는 방식의 디코더를 사용하며, 인코더에서와 마찬가지로 입력 스펙트로그램은 우선 pre-net을 거치고, 그 결과가 attention RNN의 입력이 된다. Attention RNN의 hidden state는 annotation vector와 함께 alignment 모델의 입력으로 들어가고, alignment 모델의 출력인 context vector와 attention RNN의 hidden state가 decoder RNN의 입력으로 들어가게 된다.

즉, 인코더의 hidden state를 $\left(h_1,...,h_T\right)$, attention RNN의 hidden state를 $\left(s_1,...,s_{T\text{'}}\right)$라고 할 때 alignment 모델은 다음과 같이 계산한다.

$e_{ij}=a\left(s_i,h_h\right)={v_a}^{T}tanh\left(W_a{s}_i+U_a{h}_j\right)$

이에 따라 ${\alpha }_{ij}=softmax\left(e_{ij}\right)$, $c_i={\sum }_{j=1}^T{\alpha }_{ij}{h}_j$가 되고, $c_i$는 attention RNN의 hidden state와 concatenate되어 디코더 RNN의 조건부 입력으로 쓰인다.

첫 디코더 time step에서는 <GO> 프레임이라는 모든 값이 0인 스펙트로그램이 입력으로 쓰인다. Attention RNN으로는 256-unit GRU 1층을, decoder RNN으로는 residual connection을 포함한 256-unit GRU 2층을 사용한다. Residual connection은 모델이 더 빨리 수렴하기 위해 필요하다.

이때 중요한 설정은 디코더 time step 당 하나가 아닌 여러 프레임의 스펙트로그램을 예상함으로써 훈련 시간, 합성 시간, 모델 사이즈를 줄이는 것이다. 이는 연속한 프레임의 스펙트로그램끼리 서로 겹치는 정보가 많기 때문에 가능하다. 이렇게 디코더 time step 당 예측하는 프레임의 개수를 reduction factor(r)라고 부른다. 본 연구에서는 r이 4-10일 때 작동함을 확인했다.

디코더의 출력이 멜 스케일이므로 이를 선형 스케일로 변환하기 위해 후처리 네트워크를 사용한다. 후처리 네트워크는 디코더의 출력을 모든 time step에 대해 고려할 수 있다는 장점을 가진다. 본 연구에서는 Wang et al.(2017)과 달리 후처리 네트워크로의 스케일 변환이라는 간단한 목적과 훈련 데이터양의 제약에 따라, CBHG 모듈에서 convolution bank와 bidirectional GRU를 제외한 2층의 256-unit highway 네트워크를 사용한다.

선형 스케일 스펙트로그램을 음성 신호로 합성하는 데에는 Griffin-Lim 알고리즘을 사용한다. 이 알고리즘은 다음과 같이 반복적인 과정을 통해 주어진 modified STFT magnitude (MSTFTM)와 가장 비슷한 STFT magnitude(STFTM)을 가진 음성 신호를 복원하는 알고리즘이다.

Alignment에 영향을 미치는 첫 번째 요인은 발음 자체였다. 자음인데도 모음과 같이 울림소리인 ‘ㅁ’ 받침과 ‘ㄹ’은 합성음에서 명확하게 발음이 되지 않았고, 문장 안에서 비슷한 발음이 연달아 나오는 경우, 앞선 발음이 반복되거나 중간이 끊기기도 했다.

또한 훈련 데이터의 길이나 문장의 형식 등의 구성이 균형 잡혀 있지 않기 때문에, 훈련 데이터 내의 비중이 적은 문장의 경우 alignment의 일반화가 잘 이루어지지 않는 문제점이 존재했다. 아주 짧거나 아주 긴 문장의 비율이 적기 때문에, 짧거나 긴 문장을 합성할 때는 alignment 중 일부가 반복되거나 끊기는 현상이 나타났다. 또한 문장부호를 포함시킨 채로 훈련을 시키는 상황에서 훈련 데이터의 대부분의 문장이 마침표로 끝나기 때문에 마침표로 끝나지 않는 문장은 끝부분의 alignment의 값이 보다 작거나 반복되는 현상이 나타났다. 비슷한 현상으로, ‘-다.’로 끝나지 않는 문장은 평균적으로 ‘-다.’로 끝나는 문장에 비해 alignment 값이 작게 나타나는 경향이 있었다.

<그림 3>과 <그림 4>는 각각 문장부호가 포함된 문장 ‘첫째, 도망치는 거다.’와 문장부호가 포함되지 않은 문장 ‘첫째 도망치는 거다’를 합성했을 때의 alignment를 나타낸다. <그림 3>에서 가로축 22번째가 ‘.’, 23번째가 EOS이다. 문장 중간의 쉼표에서 마침표에서와 같이 묵음이 나타나기 때문에 마침표에 집중하는 Decoder timestep이 두 번 나타나는 것을 확인할 수 있다. <그림 4>에서는 가로축 20번째가 ‘ㅏ’, 21번째가 EOS이다. ‘ㅏ’에 집중해야 하는 Decoder timestep에서 ‘ㅏ’에 집중하지 못하고 EOS에 집중함으로 인해 끝부분이 선명하지 않게 합성되었다. 이후의 결과들도 모두 alignment 및 청취 성능을 기준으로 분석하였다.

그림 3 / Figure 3. 문장부호가 포함된 문장의 alignment 예. ‘첫째, 도망치는 거다.’ / An example of a sate containing punctuation. ‘첫째, 도망치는 거다.’

Download Original Figure

그림 4 / Figure 4. 문장부호가 포함되지 않은 문장의 alignment 예. ‘첫째 도망치는 거다.’ / An example of a sate without punctuation. ‘첫째 도망치는 거다.’

Download Original Figure

실험 결과를 통해, 훈련 데이터의 양이 적을수록 인코더 CBHG의 K, 즉 모델링하는 n-gram의 최대 n이 작아야 한다는 것을 발견했다. 훈련 데이터양이 많을 때보다 적을 때 학습이 가능한 대 n의 범위도 좁아졌다. 이러한 현상은 언어에 상관없이 나타났고, 훈련 데이터의 양이 적을수록 문맥의 양이 기하급수적으로 줄어들기 때문이라고 추측할 수 있다. 표 3과 4는 입력 문자, 출력 언어 쌍이 각각 알파벳, 영어일 때와 한글, 한국어일 때 DB 양에 따른 최적의 인코더 CBHG의 K를 보여준다.

또한 한글을 문자로 사용한 한국어 TTS 시스템의 경우, 후처리 네트워크로서 highway 네트워크를 사용해야 CBHG를 사용했을 때와 달리 alignment가 선명한 직선 형태로 수렴하며 큰 값을 가졌고, 실질적인 합성음 출력이 가능했다. 같은 훈련 데이터를 사용한 알파벳을 문자로 사용한 한국어 TTS 시스템의 경우에는 CBHG와 highway 네트워크를 후처리 네트워크로 이용했을 때 합성음끼리의 청취 성능에는 큰 차이가 없었다. 그러나 alignment는 highway 네트워크를 사용할 때가 조금 더 수렴이 잘 되었다. 알파벳을 문자로 사용한 영어 TTS 시스템의 경우, CBHG와 highway 네트워크 모두 사용 가능했으나, CBHG를 사용하는 것이 더 좋은 청취 성능을 보였다. 청취 성능 외에도 검증 데이터의 loss 및 멜 스케일 loss와 선형 스케일 loss의 차이를 통해 성능 차이를 확인할 수 있었다.

이를 분석해보면 우선, 같은 훈련 데이터로 동일 태스크를 수행할 때 사용하는 문자가 알파벳일 때보다 한글일 때 후처리 네트워크로 인한 차이가 큰 것으로 보아, 사용하는 문자의 영향을 받는다는 것을 알 수 있다. 영어 TTS 시스템의 경우와는 훈련 데이터의 양, 화자, 합성하는 언어가 모두 다르기 때문에 하나의 결론을 유추하기는 어렵다. 따라서 동일한 영어 훈련 데이터를 양만 기존 데이터의 절반으로 줄여서 실험을 수행했고, 이를 통해 CBHG보다 highway 네트워크가 후처리 네트워크로서 적합하다는 결과를 얻었다. 결론적으로 합성하는 언어와 사용하는 문자 그리고 훈련 데이터양에 따라 문맥의 양이 결정되고, 문맥의 양이 많을 때와는 달리 그 양이 적을수록 후처리 네트워크가 복잡하면 alignment 모델을 훈련시키기 어렵다는 것으로 분석할 수 있다.

CBHG에서의 residual connection과 max pooling이 모델의 수렴 및 일반화를 돕는다는 것을 실험적으로 확인하였다. 마찬가지로 실험을 통해 확인한 결과, CBHG의 highway 네트워크의 층수는 4개 혹은 1개보다 2개가 모델의 수렴 및 일반화를 도왔다. 이 외에도 CBHG의 1차 convolution bank의 채널 수는 128개보다 64개가, 인코더 및 디코더의 pre-net의 첫 번째 층의 노드 개수는 256개보다 128개가, 문자 임베딩의 차원은 256차보다 128차가, 디코더의 RNN 종류는 Hochreiter & Schmidhuber(1997)의 LSTM이나 Collins et al.(2017)의 UGRNN(Update Gate Recurrent Neural Network)보다는 GRU가 도움이 되었다.

각각 40, 80, 160 밴드의 멜 스펙트로그램을 디코더의 표적으로 설정하여 비교한 결과, 밴드 개수가 40인 스펙트로그램보다 80 혹은 160인 스펙트로그램일 때 alignment가 더 잘 되고 합성음의 청취 성능도 좋았다. 밴드 개수가 80일 때와 160일 때는 큰 차이가 없어 80 밴드의 멜 스케일 스펙트로그램을 디코더의 표적으로 설정했다.

또한 Wang et al.(2017)이 Tacotron에서의 후처리 네트워크의 효능을 보일 때 제안한 대로 멜 스케일과 선형 스케일 스펙트로그램의 loss를 모두 훈련에 사용한 모델과 디코더의 표적으로 바로 선형 스케일 스펙트로그램을 설정하면서 후처리 네트워크를 제외한 모델을 비교했는데, 전자의 성능이 높은 이유가 멜 스케일 loss도 훈련에 사용해서인지, 단순히 모델이 더 깊어져서인지는 명확하지 않다. 따라서 후처리 네트워크는 동일하게 사용하되, 멜 스케일 loss를 제외하고 선형 스케일 loss만 훈련에 사용한 모델과 멜 스케일과 선형 스케일 loss를 모두 훈련에 사용한 모델을 비교해봤다. 그 결과, 제안한 대로 멜 스케일 loss도 훈련에 사용하는 것이 더 성능이 좋았다. 나아가 멜 스케일 스펙트로그램이 그 자체로 훈련에 도움이 되는 것인지, 차원이 작아서 훈련이 잘 되는 것인지를 확인하기 위해 후처리 네트워크를 제외하고, 멜 스케일 스펙트로그램과 선형 스케일 스펙트로그램을 concatenate한 것을 디코더의 표적으로 설정하여 실험을 해봤다. 제안된 모델과 비교했을 때 alignment의 수렴이 대체로 비슷하고 짧은 문장의 경우는 대체로 끝이 반복되는 현상이 없어 더 잘 학습되었다. 디코더의 표적이 선형 스케일 스펙트로그램보다도 차원이 크고 전체 모델의 깊이가 얕아진 것을 감안하면 멜 스케일 스펙트로그램이 성능 개선에 확실히 기여한다고 할 수 있다. 반면, 목소리가 실제보다 조금 더 높고 음성의 명료도가 낮았다. 이는 스펙트로그램에서 중간 주파수 범위가 잘 학습되지 않아 발생한 것으로 예상된다.

스펙트로그램을 구할 때 사용한 프레임 길이와 오버랩 길이는 각각 100 ms, 25 ms로, reduction factor는 4 혹은 5로 최적의 하이퍼파라미터를 찾아 설정했다. 이러한 실험들을 토대로 효율적으로 음성의 정보를 나타내는 표적을 찾는 것이 중요함을 확인했다.