형태소 발음변이를 고려한 음성인식 단위의 성능^*

어절 단위와 형태소 단위로 구성된 두 말뭉치로부터 각 단어의 발음열을 추출한다. 그림 2는 어절 단위 말뭉치의 예시와 이들을 형태소 분석기를 이용하여 형태소 단위로 분할한 말뭉치이다. 이때, 생성된 형태소 단위는 발음열이 유지되면서 고빈도 단어가 결합된 의사형태소 단위를 의미하며, 이후 어절 단위로 복원 가능하도록 별도의 기호(‘+’)가 삽입된다.

그림 2 / Figure 2. 어절 단위 말뭉치(위)와 형태소 단위 말뭉치(아래) / Text corpora in the word unit (above) and morpheme unit corpus (below)

Download Original Figure

서로 다른 단위로 구성된 두 말뭉치는 미리 생성해둔 발음사전을 사용하여 발음열로 변환되며, 단어 경계(word boundary)를 구분하기 위해서 별도의 기호(‘WB’)를 삽입한다. 어절과 형태소의 발음은 여러 다중발음 중에서 어떤 발음이 선택되는지 알기 어렵기에 각 단어의 대표발음을 사용하여 변환하였다.

형태소 단위에서 생성된 발음은 인접한 형태소에 따라 형태학적 규칙(정민화·이경님, 2004)에 영향을 받기 때문에 종종 어절 단위에서 생성된 발음과 다른 발음을 가질 수 있다. 그림 3은 발음사전을 이용하여 어절 단위와 형태소 단위로 구성된 말뭉치를 변환시킨 발음열을 나타낸다.

그림 3 / Figure 3. 어절 단위에서 얻어진 발음열(위)과 형태소 단위에서 얻어진 발음열(아래) /Pronunciation sequences obtained from the word unit (above) and the morpheme unit (below)

Download Original Figure

어절 단위의 단어 “약값을”에서는 발음열 “ja g G a b S U r”을 가지는 반면에, 이들의 형태소 분석 결과인 “약값 +을”에서는 발음열 “ja g G a b”과 “U r”을 가진다. 어절 단위 말뭉치는 발음 기호 ‘S’가 존재하는 것과 다르게, 형태소 단위로 분할된 말뭉치에서는 해당 발음기호가 출력되지 않는다. 표 1은 각 음소 기호에 상응하는 발음과 예시를 나타낸다.

다음 단계에서는 형태소 경계에 나타나는 발음변이 현상이 고려된 대표발음을 얻기 위해서 어절 단위의 발음열과 형태소 단위의 발음열을 서로 정렬한다.

발음열 정렬 단계에서는 어절 단위에서 생성된 발음열과 형태소 단위에서 생성된 발음열을 어절 단위를 기준으로 정렬한다. 정렬 알고리듬은 일반적으로 많이 사용되는 문자열 정렬 알고리듬인 Levenshtein alignment (Povey, 2016)을 개선하여 사용하였다.

일반적인 Levenshtein alignment 알고리듬은 두 발음열 사이의 거리 값이 최소가 되는 정렬 결과를 탐색하기 위해서 누적 거리 값이 기록된 탐색 테이블을 생성한다. 탐색 테이블은 먼저 아래의 식 (1)을 사용하여 발음 간의 거리를 계산하고, 식 (2)를 사용하여 재귀적으로 누적 거리 값을 기록한다.

여기서, ‘$score\left(p_{\text{ eoj }}^i,p_{\text{ mor }}^j\right)$’는 어절 단위의 발음열 ‘$p_{eoj}$’와 형태소 단위의 발음열 ‘$p_{mor}$’에서 각 ‘$i$’번째, ‘$j$’번째 발음 기호 ‘$p_{eoj}^i$’, ‘$p_{\text{ mor }}^j$’ 사이의 거리 값을 의미한다. 또한, ‘$lev(i,j)$’는 두 발음열로 생성된 탐색 테이블에서 ‘$i$’번째와 ‘$j$’번째 발음 기호까지의 누적 거리 값을 의미하며, 테이블의 대각/위쪽/왼쪽의 누적 거리 값에 두 발음 사이의 거리 값을 더하거나 삽입/삭제 페널티를 더한 값 중에서 가장 작은 값을 선택하여 기록한다.

형태소 분석기로 분할된 형태소 단위는 어절 단위 문장보다 더 많은 단어 경계 기호를 가진다. 각 단위의 경계를 표현하기 위해서 발음열 추출 단계에서 단위 경계 기호 “WB”를 삽입하였다. 이러한 상황에서 기존의 문자열 정렬 알고리듬을 그대로 사용한다면, 형태소 단위의 발음열에 존재하는 단어 경계 기호가 어절 발음열에 존재하는 다른 발음 기호로 빈번하게 정렬되어 사라지는 현상이 발생할 수 있다.

단어 경계 기호는 어절 단위 발음열에서 형태소 단위 경계를 찾는데 요구되는 중요한 기호이다. 어절 단위의 발음열에서 형태소 단위의 변이된 발음을 추출하는 과정에서 단어 경계 기호가 사라진다면, 이후 발음열 태깅 단계에서 형태소와 그들의 발음을 서로 연결하는데 어려움이 발생한다. 따라서 거리 계산 수식을 아래의 식 (3)과 같이 수정하여 형태소의 단어 경계 기호가 발견될 때 높은 거리 값을 가지도록 변경하였다.

단어 경계 기호의 거리 값으로 ‘1’을 사용하는 경우에는 기존의 알고리즘과 동일하게 동작하며, 거리 값으로 ‘2’를 사용하는 경우에는 어절의 발음 기호가 삽입되거나 치환될 때 발생하는 누적 거리 값인 ‘2’와 동일하여 여전히 형태소 단위의 단어 경계 기호가 사라지는 문제가 발생하였다. 따라서 우리는 형태소 단위의 단어 경계 기호 거리 값으로 ‘3’을 사용하였다. 그림 4는 단어 “값을”과 “맛을”을 제안된 방법으로 정렬한 예시이다.

먼저, 어절 단위의 “값을”은 발음열 변환 단계에서 “WB G a b S U r WB”로 변환되며, 이들의 형태소 단위인 “값 +을”은 “WB G a b WB U r WB”로 변환된다. 기존 방법으로 이들을 정렬할 경우에는 어절 단위 발음에 존재하는 발음 기호 ‘S’와 형태소 단위 발음열에 존재하는 단어경계기호 ‘WB’가 서로 치환되어 “WB G a b S U r WB”를 정렬 결과로 출력하며, 이후 형태소 경계를 파악하기가 어렵다.

반면에 제안된 방법으로 정렬할 경우에는 발음기호 ‘S’와 단어경계 기호 ‘WB’를 삭제/삽입된 단어로 인지하여 “WB G a b S WB U r WB”을 정렬 결과로 출력한다. 얻어진 정렬 결과는 형태소 단위의 단어경계 위치정보를 가지면서 형태소 단위 발음보다 더 정확한 어절 단위의 발음 정보를 가진다. 제안된 정렬 방법은 서로 다른 길이를 가지는 어절 “맛을”과 형태소 “맛 +을”의 정렬 예시에서도 단어경계기호가 유지되면서 발음변이가 고려된 발음 기호를 가진다.

그림 4 / Figure 4. 발음열 정렬 예시 (a) “값을” (b) “맛을” / Examples of pronunciation sequence alignment

Download Original Figure

발음열 태깅 단계에서는 단어 발음이 고려된 새로운 단위의 말뭉치를 생성한다. 발음열 정렬 결과로부터 형태소 단위 말뭉치에서의 단어경계 위치를 찾을 수 있다. 발음열 정렬 과정에서 형태소 단위의 단어경계기호를 유지시켰다. 정렬 결과로 얻어진 단어 경계 기호 사이의 각 발음열은 형태소 단위 말뭉치의 형태소로 일대일로 연결 가능하다. 정렬 결과로 얻어진 새로운 발음열은 연결기호(‘–’)를 사용하여 서로 이어 붙이고, 형태소 단위의 각 단어 뒤에 부착하였다. 그림 5는 제안된 단위로 재구성된 말뭉치의 예시이다.

그림 5 / Figure 5. 제안된 단위의 말뭉치 / Text corpus in the proposed unit

Download Original Figure

제안된 단위를 발음사전에 적용하는 경우에는 형태소 경계에서 다양하게 변이된 발음들이 반영되는 효과를 기대할 수 있다. 기존의 발음사전에서 형태소 단위의 단어 “약값”은 발음 [약깝]을 의미하는 발음열 “ja g G a b”만을 단일발음으로 가지는 반면에, 제안된 방법에서는 [약까], [약깝], [약깜], [약깞]을 나타내는 “ja g G a”, “ja g G a b”, “ja g G a m”, “ja g G a b S”의 다양한 다중발음들을 얻을 수 있었다. 각 발음들은 어절 “약값하고”, “약값도”, “약값만”, “약값을” 등에서 얻어진 발음열로 기존의 발음 “ja g G a b” 이외에 3가지 다중발음이 추가된 것이다.

기존의 형태소 단위는 단어의 실제 발음을 예상할 수 없다. 따라서 변이된 발음을 모두 고려하기 위해서는 하나의 단어 “약값”에 4개의 다중발음을 모두 할당해야 한다. 이러한 방법은 탐색 과정에서 높은 혼잡도를 가지게 되며 인식성능 하락을 유발한다. 더욱이, 각 단어의 다중발음 개수를 축소시킨다면 제거된 다중발음이 탐색 과정에 반영되지 못하여 인식성능을 하락시킬 수 있다. 반면에, 제안된 단위는 각 단어가 어떤 변이된 발음을 가질지 미리 예측할 수 있다. 제안된 단위 “약값/ja-g-G-a”는 변이된 발음열 “ja g G a”를 가지며, “약값/ja-g-G-a-b”은 변이된 발음열 “ja g G a b”를 가지는 것을 예상할 수 있다. 따라서 제안된 단위로 구축된 발음사전은 다중발음에 의한 탐색 혼잡도를 줄일 수 있으며, 말뭉치로부터 얻어진 다양한 다중발음을 발음사전에 모두 반영시킬 수 있다.

제안된 단위를 언어모델에 적용하는 경우에는 발음에 따라 단어들이 세분화되어 탐색 과정에서 혼잡도가 감소되는 효과를 기대할 수 있다. 기존의 형태소 단위로 언어모델을 구축하는 경우에는 단어 “약값”의 빈도가 다음에 나타나는 단어 “+하고”, “+도”, “+만”, “+을”의 발생 확률을 모델링하기 위해 동일하게 사용된다. 반면에 “약값/ja-g-G-a”, “약값/ja-g-G-a-b”, “약값/ja-g-G-a-m”, “약값/ja-g-G-a-b-S” 등의 제안된 단위를 사용하여 언어모델을 구축한다면 발음열에 따라 세분화된 단어로부터 다음 단어가 나타날 확률을 모델링하게 되어 인식 성능 향상에 기여할 것으로 예상된다.

그림 6은 기존의 형태소 단위와 제안된 단위를 사용하여 구축된 단어 “약값”의 탐색 네트워크를 보인다. 실제로 본 실험에서 사용한 음성인식기의 탐색 네트워크는 최적화(optimization) 과정에서 그래프 형태로 변환되지만, 이해를 돕기 위해서 본 그림에서는 경로 최적화 과정이 생략된 네트워크를 나타내었다. 기존의 방법에서는 모든 다중발음이 발음사전에 반영되어 16가지의 복잡한 탐색 경로를 가졌다. 반면에, 제안된 단위에서는 단어의 변이된 발음을 미리 예상하여 4가지의 간소한 탐색 경로를 가졌다.

그림 6 / Figure 6. 탐색 네트워크 (a) 형태소 단위 (b) 제안된 단위 / Search networks constructed with (a) morpheme unit and (b) proposed unit

Download Original Figure

음향모델 학습에 사용된 음성 데이터베이스는 2016년 2월에서 3월까지 방송된 방송 오디오에서 자막 텍스트와 자막 타임스탬프(time stamp)를 이용하여 추출한 445시간의 음성 데이터를 사용하였다(Bang & Choi, 2017). 음성 데이터베이스는 16 kHz, 16 bits로 샘플링 되었으며, 다수의 화자들이 다양한 환경에서 녹음한 음성들로 구성된다.

제안된 단위 생성과 언어모델을 구축하는데 사용된 한국어 말뭉치는 2016년 2에서 2017년 3월까지 방송된 방송 자막을 사용하였다. 인식단위 생성에 사용된 자막 말뭉치는 약 86M개의 어절을 가지며, 이들을 형태소 분석기에 입력하여 얻어진 말뭉치에서는 약 117M개의 형태소를 가졌다. 발음열 추출 실험에 불필요한 문장 기호와 특수 문자는 제거하고 사용하였다.

음성인식 실험에 사용된 평가 데이터는 2016년 4월에 방송된 뉴스, 어린이, 시사, 드라마, 예능의 5가지 장르를 가지는 방송 데이터를 사용하였다. 평가 데이터는 학습 데이터와 다른 날에 방송된 프로그램으로 구축하였지만, 방송 프로그램의 특성상 학습 데이터와 동일한 화자를 가질 수 있다.

장르별 특성으로, 뉴스 데이터는 평균 발화 길이가 길면서 잡음이 없는 환경에서 낭독체 스타일의 발화 특성을 가진다. 어린이 데이터는 선생님이 아이들에게 공룡에 대해 설명하는 내용의 방송으로 뉴스 데이터와 유사하게 정형화된 문장을 차분하게 발성하는 특징을 보인다. 하지만, “트리케라톱스” 등의 공룡 이름이나 “고생물학자”와 같이 언어모델에 낮은 빈도로 나타나는 어휘들이 많이 존재한다. 시사 데이터는 리포터가 사극 드라마를 소개하는 내용의 방송으로, 배우 이름이나 지명 등의 고유명사가 빈번하게 나타나고, 주인공과의 인터뷰 과정에서 웃음소리 등의 잡음이 나타나는 특징을 보였다. 드라마 데이터는 드라마 중간에 배우들의 감정표현이 강조된 발화들이 나타나며, 약간의 배경음악이 혼합되는 특징을 보였다. 마지막으로, 예능 데이터는 평균 발화 길이가 짧으면서 효과음이나 배경음악 등의 다양한 잡음들이 혼합되었으며 자유로운 스타일의 발화 특성을 가졌다. 평가에 사용된 음성 데이터는 1,559개의 발화로 구성된 전체 2시간 23분의 길이를 가지며, 학습 음성 데이터와 독립적으로 구축하여 사용하였다.

모든 음성인식 실험은 Kaldi toolkit (Povey et al., 2011)을 사용하여 수행되었다. 음성인식기에 사용된 특징벡터로는 발화 단위로 평균과 분산을 정규화한 40차 로그 멜 필터뱅크를 사용하였으며, 문맥을 고려하기 위해서 좌우 7개 프레임을 연결하여 총 15개 프레임을 음향모델 입력으로 사용하였다.

음향모델은 깊은 신경망(deep neural network, DNN)과 은닉 마르코프 모델(hidden Markov model, HMM)을 사용한 DNN-HMM 하이브리드 방식을 사용하였다. HMM은 비묵음 기호와 묵음 기호에 대해 각 3개와 5개의 상태 열을 가지는 left-to-right HMM을 사용하였다. DNN은 15×40 차원의 입력층과 tanh 활성함수를 사용하는 1,024 차원의 은닉층 6개, softmax 활성함수를 사용한 8,033 차원의 출력층을 사용하였다. 전체 데이터는 학습에 15번 사용되며, 초기 10번까지는 0.001부터 0.01까지 학습률을 감소시키며 학습하였으며, 마지막 5번은 0.01의 고정된 학습률로 DNN 모델을 학습하였다(Povey, 2018). 언어모델은 SRILM 도구(Stolcke, 2002)를 사용하여 형태소 단위 말뭉치와 제안된 단위 말뭉치에 Kneser-Ney discounting 방법을 적용한 3-gram 모델을 사용하였다(Kneser & Ney, 1995). 발음사전 및 형태소 분석기는 한국전자통신연구원에서 제작된 도구를 사용하였다. 디코더는 음향모델 가중치를 0.077을 가지며, 탐색 빔 크기는 10으로 설정하였다. 인식 성능은 형태소 단위의 단어 오류율(word error rate, WER)을 계산하여 확인하였다.