비원어민 한국어 발음 평가를 위한 자기 지도 학습 기반 한국어 음소 인식^*

음소 인식 기술은 학습자의 발화된 음소와 기준 음소 간의 차이를 분석하여 오류의 위치와 유형을 명확히 제시한다(Kim et al., 2022b; Leung et al., 2019; Peng et al., 2021; Zahran et al., 2023). 이를 통해 비원어민 학습자로 하여금 자신의 발음 오류를 이해하고 교정할 수 있는 효율적인 학습 효과를 제공한다.

음소 인식은 입력된 음성 데이터에서 발음을 구성하는 최소 단위인 음소(phoneme)를 식별하는 기술이다. 초기 연구는 HMM-GMM(hidden markov model-gaussian mixture model) 기반의 통계적 모델을 사용하여 음소 간의 관계를 모델링하였으나, 이 방법은 복잡한 음향 패턴을 처리하는 데 한계가 있었다(Golowich & Sun, 1998; Kannadaguli & Bhat, 2015). 이후 딥러닝 기반의 모델 학습 기법이 도입되면서 음소 인식 기술은 크게 발전하였다. CNN(convolutional neural network), RNN(recurrent neural network), transformer와 같은 신경망 모델은 음소 간의 복잡한 관계를 학습하여 기존 통계적 모델의 한계를 극복하였다. 특히, transformer 모델은 self-Attention 메커니즘을 통해 긴 문맥 정보를 효과적으로 학습함으로써 음소 인식의 정확도를 크게 향상시켰다(Vaswani et al., 2017). 하지만 이러한 딥러닝 기반 접근법은 대규모의 레이블링된 데이터에 크게 의존한다는 한계를 갖는다.

기존의 딥러닝 기반 음소 인식은 레이블링된 데이터에 대한 높은 의존성으로 인해 상대적으로 데이터가 부족한 비주류 언어나 비원어민 학습자의 발음 평가에 적용이 어려웠다. 이를 해결하기 위해 자기 지도 학습(self-supervised learning, SSL) 기술이 대안으로 제시되었다(Baevski et al., 2020; Kim & Kang, 2021). SSL은 레이블이 없는 대규모 데이터를 활용하여 음향적 특징을 학습하며, 특히 음소 간의 구조적 관계와 복잡한 음향 패턴을 처리하는 데 효과적이다. 이러한 특성으로 인해 SSL은 다국어 음성 인식에 널리 사용되면서 비주류 언어에서도 음소 인식 성능 개선을 위해 활용되기 시작하였다. Yang et al.(2022)는 Wav2Vec2.0 기반의 모멘텀 가상 레이블링(momentum pseudo-labeling)을 활용하여 데이터 레이블링 비용을 절감하고 발음 오류 탐지에서 기존 모델 대비 20% 이상 높은 성능을 기록하였다. Xu et al.(2021)은 다국어 음성 데이터를 활용하여 제로샷(zero-shot) 학습을 통해 레이블이 없는 데이터를 처리하고 조음 특징(articulatory features)을 학습하여 기존 방법 대비 약 30% 높은 음소 인식 정확도를 달성하였다. 이러한 연구는 SSL 기반 모델이 저자원 환경에서도 효과적인 음소 인식 성능을 달성할 수 있음을 보여준다.

음소 인식 연구는 영어와 같은 주류 언어를 중심으로 활발히 진행되어 왔다. 음소 단위의 레이블을 갖춘 풍부한 음성 데이터를 활용하여 HMM-GMM 기반의 초기 모델부터 딥러닝 기반의 최신 모델까지 다양한 연구 결과가 소개되었다. 반면, 한국어 음소 인식 연구는 상대적으로 제한적이며, 특히 비원어민을 대상으로 한 연구는 기초 수준에 머물러 있다.

Ryu et al.(2016)은 음향 모델을 활용하여 학습자의 발음을 강제 정렬(forced alignment)하고 이를 기반으로 음향적 특징을 분석하여 발음 평가 모델을 개발하였다. 이 연구는 다양한 언어적 배경을 가진 비원어민 학습자의 발음 오류를 정량적으로 평가하고 탐지하는 데 성공하며 음소 인식의 정확성을 높였다. Lin & Wang(2023)은 도메인 적대적 학습(domain adversarial training)을 활용하여 다양한 억양을 가진 학습자의 발음을 평가하고 억양 간 일반화 성능을 향상시켰다. 이는 비원어민 학습자의 발음 데이터를 정밀히 분석하고 음소 인식 성능을 강화하는 데 기여하였다. Jang et al.(2023)은 음향 신호와 시각 데이터를 결합한 멀티모달 학습 모델을 제안하여 발음 오류 탐지의 정확성을 개선하였다.

비원어민 대상의 한국어 음소 인식 및 발음 평가와 관련된 연구가 제한적인 이유는 다음과 같다. 한국어는 자음과 모음의 결합으로 이루어진 독특한 음운 체계를 가지고 있으며, 받침 자음과 같은 추가적인 음운 요소가 포함되어 있어 음소 인식에서 영어와는 다른 접근이 필요하다. 이러한 한국어의 특성으로 비원어민 학습자의 발음 오류 패턴이 다양하게 나타나며, 이를 반영하여 발음 오류를 효과적으로 처리할 수 있는 연구가 필요하다.

비원어민 화자 대상의 한국어 음소 인식이 어려운 주된 이유는 음운 체계의 차이, 문맥 의존성, 데이터 부족에서 비롯된다. 첫째, 음운 체계의 차이는 한국어의 복잡한 음운 구조에서 기인한다. 자음과 모음의 결합, 받침 자음의 존재 등은 비원어민 학습자에게 발음 학습의 어려움을 가중시키며, 대치 오류(예: ‘ㄹ’을 ‘ㄴ’으로 대치), 생략 오류(받침 자음의 생략), 첨가 오류(불필요한 모음 추가)와 같은 발음 오류가 빈번히 발생하는 요인이 된다. 둘째, 문맥 의존성을 배제한 연구가 필요하다. 기존의 음소 인식 시스템은 인식 결과로 출력되는 텍스트 상의 문맥을 활용하여 오류를 탐지하고 교정하는 데 중점을 두지만, 비원어민의 발화에서는 발음 자체를 중점적으로 고려하여 오류를 탐지하는 기술이 필요하다. 셋째, 원어민 화자에 비해 비원어민 화자의 한국어 음성 데이터는 상당히 부족하며, 특히 음소 단위의 레이블을 갖춘 데이터는 찾기 어렵다. 이러한 데이터 부족 문제는 딥러닝 모델 학습에 어려움을 가중시키며 인식 성능의 한계로 이어진다.

본 연구에서는 학습 데이터의 부족으로 인식 성능 개선에 어려움을 겪는 다양한 패턴 인식 문제에서 최근 널리 사용되고 있는 자기 지도 학습 기법을 기반으로 비원어민 대상의 한국어 음소 인식 성능을 개선하는 방법을 제안한다. 이를 위해 먼저 본 연구에서 핵심적으로 사용하는 Whisper 모델에 대해 소개한다.

Whisper 모델은 OpenAI에서 개발된 범용의 음성 인식 모델로, 음성-텍스트 변환(STT), 다국어 번역, 음성 감지와 같은 다양한 작업을 수행할 수 있는 모델로 알려져 있다(Radford et al., 2023). Transformer 기반의 종단형(end-to-end) 구조를 채택하여 음성 데이터를 입력받아 텍스트로 직접 변환하며, 기존 파이프라인 모델보다 효율적이고 강인한 음성인식 모델이다. 약 680,000시간 이상의 대규모 다국어 데이터를 학습한 Whisper는 다양한 언어와 억양, 소음 환경에서도 우수한 성능을 보여 비원어민 화자의 발음 변이 또한 효과적으로 처리할 수 있는 가능성을 지닌다.

Whisper 모델은 다중 언어 데이터를 학습하면서 다양한 음소 패턴을 포괄적으로 다룰 수 있는 능력을 가지고 있다. 특히, 비원어민 학습자의 발음 변이를 반영하기 위해 추가적인 미세 조정을 통해 특정 언어에 최적화된 성능을 제공할 수 있다. 이는 복잡한 음운 체계를 가진 한국어 음소 인식에 Whisper 모델이 효과적으로 활용될 수 있음을 나타내는 특징이다. Whisper는 기존 음성 인식 모델이 음성-텍스트 전환에 초점을 맞춘 것과 달리, 음소 중심의 분석 및 인식에도 강점을 보인다.

한국어 음소 인식에서 Whisper 모델의 활용 가능성은 이미 여러 연구를 통해 입증되었다. 가령, Oh et al.(2023)은 AIHub에서 제공된 약 1,000시간 분량의 한국어 음성 데이터를 사용해 Whisper 모델을 fine-tuning하여 문자 오류율(character error rate, CER)을 크게 개선하였다.

대규모의 다국어 데이터를 통해 학습된 Whisper 모델은 한국어와 같은 비주류 언어에서도 뛰어난 성능을 보였으며, 특히 소음 환경, 억양 차이, 불규칙한 발화 패턴에서도 안정적인 성능을 나타냈다.

Whisper 모델은 대규모 데이터 학습과 다국어 지원 구조를 바탕으로, 비원어민 대상의 한국어 음소 인식 문제에서 다양한 발음 변이와 음소 단위의 분석을 처리하는데 핵심적인 역할을 할 것으로 예상된다. 본 연구는 Whisper 모델의 이러한 강점을 활용하여 비원어민 대상의 한국어 음소 인식에 최적화된 모델을 개발하는 것을 목표로 한다. 이를 위해 한국어 데이터를 사용하여 Whisper 모델을 추가적으로 미세 조정(fine-tuning)하고, 데이터 정제 및 개선 과정을 통해 비원어민의 발음을 처리하는 데 적합한 솔루션을 제안한다.

비원어민 화자의 한국어 발화를 발음대로 인식할 수 있는 효과적이고 정확한 한국어 음소 인식 모델을 구축하기 위해서는 정확하게 레이블링된 다양한 데이터를 기반으로 학습이 이루어져야 한다. 그러나 비원어민 화자의 발화를 정확하게 레이블링한 데이터가 부족하기 때문에, 본 연구에서는 이를 보완하기 위해 두 가지 유형의 데이터를 수집하였다.

Whisper와 같이 음성 인식을 목적으로 개발된 모델의 경우 인식 결과가 발음 표기가 아닌 어휘 사전에 정의된 단어 열로 출력되는 경향이 있다. 발음 평가를 위한 음소 인식을 대상으로 하는 본 연구에서는 발음 기반의 표기가 적합하기 때문에 음성 인식 모델이 출력한 글자(어휘 사전) 기반 표기를 실제 발음으로 변환하여 레이블을 수정하는 과정이 필요하다. 이를 위해 본 연구에서는 G2P 도구를 사용하여 발음 기반 레이블을 생성하였다. 이 과정에서 연음, 유음화, 비음화와 같은 한국어 발음 규칙을 적용하여, 가령 '좋겠다'는 '조켇따'로, '막내'는 '망내'로 변환된다.

G2P 변환의 목적은 음소 인식 오류율, 즉 PER(phoneme error rate) 계산의 정확도를 높이고, 문맥 의존성을 최소화하면서 발음 평가를 용이하게 하는 데 있다. 우선, G2P 변환은 PER 계산의 정확성을 높이는 데 기여한다. 발음이 사전적 표기와 일치하지 않는 경우에도 G2P를 적용함으로써 잘못된 오류율 계산을 방지할 수 있다. 또한, G2P는 문맥 의존성을 감소시키는 데에도 중요한 역할을 한다. 일반적으로 음성 인식 모델은 언어 모델과 함께 학습되기 때문에 문맥이나 언어적 규칙에 따라 발음이 왜곡되는 문제가 발생할 수 있다. 예를 들어, [망내]라는 발음의 단어를 문맥 규칙에 따라 ‘막내’로 출력하는 경우가 이에 해당한다. G2P 변환을 활용하여 생성된 발음 기반의 레이블을 통해 모델의 미세 조정(fine-tuning)을 수행한다면, 음성 인식을 위해 구축된 사전 학습 모델에 존재하는 문맥적 개입을 줄이고 발음 그대로의 음소 인식 성능을 기대할 수 있다. 끝으로, G2P를 통해 구축된 음소 기반 토큰은 다양한 억양, 방언, 그리고 발음 변이를 효과적으로 포괄할 수 있어 발음에 억양이 있는 비원어민의 개인화 모델에서도 높은 유연성을 제공할 수 있다.

본 연구에서 미세 조정에 사용되는 데이터 중 3.1.2절에서 소개한 뉴스 데이터의 경우 음소 단위의 레이블이 제공되지 않아 G2P 작업을 통해 발음 기반으로 레이블을 변환함으로써 모델이 한국어 발음 규칙을 보다 정확하게 학습할 수 있도록 한다. 학습 데이터에 G2P를 적용한 후, word delimiter ‘|’, unknown word ‘[UNK]’, 및 padding token ‘[PAD]’를 포함하여 총 1,245개의 토큰을 생성한다.

2.3절에서 기술한 바와 같이 비원어민 화자의 한국어 음소 인식 연구가 제한적인 이유 중의 하나는 음소 단위의 레이블을 갖춘 비원어민 한국어 음성 데이터가 부족하기 때문이다. 본 연구에서 미세 조정에 활용하고자 하는 AIHub의 L2 화자 데이터는 음소 단위 레이블이 제공되는 자료이지만, 음소 레이블에 다량의 오류가 포함되어 원 자료를 그대로 사용할 때 인식 성능이 저하되는 문제가 확인되었다. 이와 관련된 실험 결과는 4장에서 소개한다. 따라서, 본 연구에서는 미세 조정에 활용되는 음성 데이터를 보다 효과적으로 모델 학습에 반영하기 위해, 레이블링 정제 과정을 수행한다.

3.1.1절에서 기술한 바와 같이 본 연구에 사용한 미세 조정 데이터는 두 종류(L2 화자 데이터, 뉴스 데이터)이며, 데이터의 조합에 따라 구축된 미세 조정 모델의 성능을 먼저 분석하였다. 표 1에 기술한 네 종류의 모델(‘L2’, ‘Kor’, ‘Kor-L2’, ‘L2-Kor’) 외에 두 데이터셋을 동시에 사용하여 구축한 미세 조정 모델(‘Combined’)을 추가하여 총 다섯 개의 모델의 성능을 비교하였다. 각 모델은 레이블 정제 단계 별로 선별된 데이터셋에 따라 성능 차이를 보였으며, 가장 좋은 성능을 나타내는 데이터셋과 이를 사용하여 구축된 모델을 선정하여 비교하였다. 표 3은 두 종류의 평가 데이터(800개의 L2 화자 데이터와 400개의 한국인 화자 뉴스 데이터) 각각에 대한 5가지 모델의 성능을 정리한 것이다.

‘baseline’은 Whisper 모델을 사용하여 1차로 선별한 68k 규모의 L2 화자 데이터(L2_68k)로 구축한 미세 조정 모델이며, L2 화자 데이터에 대해 12.5%의 PER을 나타내며 다른 모델에 비해 가장 낮은 성능을 보였다. 이에 비해, 3차 레이블 정제 단계에서 선별된 17k 규모의 L2 화자 데이터(L2_17k)로 구축된 미세 조정 모델은 5.18%로 눈에 띄게 성능이 개선되었는데, 이는 단계별 정제 과정을 통해 수정된 L2 화자 데이터의 레이블의 정확도가 개선됨에 따라 모델 또한 크게 개선된 결과로 해석할 수 있다. 반면, 한국인 화자의 뉴스 데이터를 사용하여 구축된 미세 조정 모델은 6.07%의 PER을 나타내 오히려 성능이 저하됨을 보였다.

다음으로 L2와 Kor 데이터를 교차 사용한 Kor-L2와 L2-Kor 모델은 L2 화자 데이터에 대해 4.68%와 3.87%의 PER을 보여 L2 데이터만 사용한 모델에 비해 성능이 크게 개선되었다. 이는 한국인 화자가 정확하게 발성한 뉴스 데이터가 L2 화자 데이터에 부족한 한국어 음소 특성을 보완함으로써 L2 화자의 한국어 발음 특성이 보다 효과적으로 모델에 반영된 것으로 분석된다.

L2 화자 데이터와 뉴스 데이터를 동시에 사용하여 구축된 Combined 모델은 3.22%의 PER을 달성하여 모든 모델 중 L2 화자 데이터에 대해 가장 좋은 성능을 보였다. 이는 L2 화자 데이터와 한국어 원어민의 뉴스 데이터가 미세 조정에 함께 사용됨으로써, 모델이 L2 화자 발음의 다양한 변이뿐만 아니라 정확한 한국어 발음 특성을 효과적으로 학습에 반영하는 것으로 분석된다.

한국인 화자의 뉴스 데이터로 평가한 결과에서는 한국인 뉴스 데이터를 사용하여 구축된 미세 조정 모델이 0.46%의 PER을 나타내며 거의 100%의 인식률을 보였다. 이는 발음 변이가 거의 없는 원어민의 낭독체 뉴스 데이터의 특성이 학습에 반영되었기 때문이다. 그러나 ‘L2-Kor’와 ‘Combined’ 모델 또한 각각 1.33%와 1.22%의 높은 성능을 보였다.

종합적으로 분석한 결과, L2 화자 데이터와 뉴스 데이터에서 모두 우수한 성능을 보이는 모델은 ‘Combined’ 모델로 확인되었다. 이는 두 데이터 유형 간의 차이를 효과적으로 학습하고, 다양한 음성 환경에서도 높은 일반화 능력을 발휘하기 때문으로 판단된다. 이 같은 결과는 L2 화자와 한국어 원어민 화자의 음소 인식에 모두 최적화된 모델을 구축하기 위해서는 데이터셋의 선택이 중요한 요소로 작용하며, 특히 다양한 발음 데이터를 균형 있게 결합하는 미세 조정 모델 구축 전략이 필요함을 입증하는 결과이다. 이후의 실험은 가장 최적의 성능을 보이는 ‘Combined’ 모델의 결과를 통해 분석한다.

본 연구에서는 단계별로 레이블을 정제하고 그에 따라 미세 조정 모델을 갱신하는 과정을 반복적으로 수행하면서 비원어민에 최적화된 한국어 음소 인식 모델을 구축하는 방법을 제안하였다. 본 장에서는 레이블 정제 단계 별로 구축된 모델의 성능을 비교한다. 표 2에서 정리한 바와 같이, 다섯 단계의 레이블 정제 과정을 통해 다섯 개의 모델(‘모델1.0’ ~ ‘모델5.0’)이 생성

되었으며, 4.1장에서 성능이 가장 좋은 모델로 분석된 ‘Combined’ 모델을 사용하여 성능 평가를 진행하였다. 표 4는 각 미세 조정 모델 별로 적용된 데이터셋과 해당 모델의 성능을 정리한 것이다.

표 4에서 확인할 수 있듯이, 본 연구에서 제안한 여러 단계의 레이블 정제를 통해 L2 화자 및 뉴스 데이터에 대한 음소 인식 성능이 점진적으로 개선되었다. 첫 번째 미세 조정 모델(‘모델1.0’)의 성능은 L2 화자와 뉴스 데이터에서 각각 5.32%, 1.55%의 성능을 보였으나, 마지막 모델인 ‘모델5.0’에서는 3.22%, 1.22%로 크게 개선되었다. 이 같은 결과는 각 단계별로 생성되는 미세 조정 모델이 학습 데이터 레이블의 정확도를 높이고 개선된 레이블을 적용하여 다음 단계에서 구축되는 미세 조정 모델의 성능이 지속적으로 개선됨을 의미한다.

본 연구에서는 Whisper 계열의 음성 인식 모델을 사전 학습 모델로 사용하여 이를 기반으로 미세 조정 모델을 구축하였다. 대부분의 사전 학습 모델이 음성 인식을 목적으로 구축된 모델이기 때문에 문맥 의존성을 보임으로써 음소 인식의 정확도가 저하되는 경향을 보인다. Whisper 모델은 텍스트 변환 과정에서 문맥 의존적인 언어 모델을 사용하지 않고 발음 자체를 중심으로 작동하는 모델로 알려져 있지만 음성 인식 모델의 특성으로 문맥 의존성이 발견되는 경우가 있다. 본 연구에서는 3.2장에서 소개한 G2P를 통해 문맥 의존성을 줄이는 방법을 제안하였으며, 추가적으로 모델 학습 과정에서 dropout 조정을 통해 문맥 의존성의 감소 여부를 살펴 보았다.

문맥 의존성은 모델이 주변 발음이나 단어의 언어적 맥락에 지나치게 의존하여 실제 발음을 왜곡하거나 부정확한 음소 인식 결과를 생성하는 요인이 된다. 신경망 모델 학습의 파라미터로 사용되는 dropout은 과적합(overfitting)을 방지하기 위한 정규화 기법으로 모델이 학습 데이터에 지나치게 특화되지 않도록 하기 위해 학습 과정에서 뉴런(혹은 노드)을 랜덤하게 비활성화하는 방법이다. 본 연구진은 데이터의 의존성을 줄이는 파라미터인 dropout 값을 조정함으로써 문맥 의존성을 줄일 수 있을 것으로 판단하였으며 이와 관련된 실험을 진행하였다. 표 4에서 살펴본 다섯 개의 모델 중 성능 개선의 여지가 있는 ‘모델2.0’을 대상으로 dropout 값 변화에 따른 성능 변화를 확인하였다.

표 5에 제시된 실험 결과에서, dropout 값에 따라 인식 성능이 변화함을 확인할 수 있으며 이는 dropout이 모델의 문맥 의존성에 일부 영향을 미치고 있음을 나타낸다. Dropout 값이 0.5일 때 두 종류의 평가 데이터에서 모두 가장 높은 성능을 보였으나, 0.2일 때 성능이 저하되는 특징을 보였다. Dropout 값과 성능 사이에 비례 또는 반비례의 특성은 보이지 않는데, 이는 dropout 비율이 지나치게 낮거나 높은 경우 문맥 의존성보다는 과적합이나 모델 학습 저하의 영향을 더욱 크게 받기 때문으로 판단된다.

지금까지는 PER 기준에 따라 전체 데이터의 성능을 일괄적으로 비교하였으나, 실제 인식 결과의 차이를 구체적으로 살펴보기 위하여 평가에 사용된 몇 가지 샘플 데이터를 정하여 레이블 정제 단계에 따라 생성된 두 종류 모델의 성능을 비교하였다. 즉, 다섯 개의 모델 중 가운데 위치한 ‘모델3.0’의 출력 결과와 가장 좋은 성능을 나타내는 ‘모델5.0’의 출력 결과를 비교하였다. 결과는 표 6과 같다.

표 6에 제시된 6개의 샘플 데이터를 대상으로 두 모델의 출력 결과를 분석한 결과, ‘모델5.0’이 ‘모델3.0’보다 전반적으로 음소 열을 정확하게 출력하는 것으로 나타났다. 첫 번째 예에서 ‘모델3.0’은 [늗쯔]를 “내주”로 대체하며 문법적으로 자연스러운 결과를 출력함을 보였으나, 이는 실제 발음과 달리 음소를 잘못 인식한 결과이다. 반면, ‘모델5.0’은 동일한 발음을 “눋쯔”로 인식하여 실제 발음과 더 가까운 결과를 보였다.

두 번째 예에서, ‘모델3.0’은 [예정이심니까]를 “예정이십니다”로 인식하였는데, 문맥적으로는 적합하지만 실제 발음을 정확히 반영하지 못한 결과이다. 반면, ‘모델5.0’은 [위에]를 “위의”로 잘못 출력하며 발음 유사성으로 인해 오류가 발생했지만, [예정이심니까]를 정확히 출력하며 L2 화자의 실제 발화를 그대로 출력하였다.

세 번째 예에서 ‘모델3.0’이 [괄력]을 “궐력”, [공괄려]를 “공꿘녀”로 잘못 인식하였다. 인식 결과인 “궐력”은 문맥적으로 단어 ‘권력’의 올바른 발음이지만, 실제 발음 오류를 그대로 반영하지 않고, 문맥적 자연스러움이나 언어적 규칙에 따라 보정하려는 경향을 나타낸다. 즉, 모델이 실제 발음을 왜곡하고, 문맥적으로 더 자연스럽거나 표준적인 발음을 선택한 것으로 해석된다. 이러한 문제는 미세 조정 데이터에 포함된 레이블 오류 또는 모델의 문맥 의존성에서 기인했을 가능성이 크다. 반면, ‘모델5.0’은 L2 화자의 실제 발음을 정확히 인식하며 정답 레이블과 일치하는 결과를 보였다. 이는 모델 갱신에 따른 레이블 정제가 효과적으로 이루어졌음을 의미한다.

다음 예에서, ‘모델3.0’은 [직접가서]를 “직쩝와서”로 변형하여 출력하였다. [가]를 [와]로 대체한 것은 문맥 의존성을 과도하게 활용했음을 뜻한다. 반면, ‘모델5.0’은 [직접가]를 “직첩가”로 인식하였는데 이는 개선된 모델이 발음 경계 처리를 보다 효과적으로 다루고 있음을 보여주는 결과이다.

마지막 두 개의 예는 단어 사례이다. 다섯 번째 예에서 ‘모델3.0’은 [옌날]을 “연날”로 단순화하여 발음을 처리하였다. 이는 모델이 실제 발음의 음소적 복잡성을 반영하는 대신, 단순화된 발음으로 대체한 결과로 해석된다. 반면, “옌나에”로 출력한 ‘모델5.0’은 “옌”을 정확히 인식하였지만 [날]이 “나에”로 대체된 것은 발음 경계 처리의 한계를 보여주고 있다. 이러한 결과는 개선 후의 모델이 일부 복잡한 음소 패턴에 대해서는 향상된 인식 성능을 보이지만, 여전히 예측에서 벗어나는 변이에 대해서는 정확하게 대응하는 능력이 부족함을 뜻한다.

여섯 번째 예에서, ‘모델3.0’은 [왜이]를 “회의”로 잘못 인식하였다. 이는 문맥적으로 더 자연스러운 단어를 선택한 결과로 해석되며, 과도한 문맥 의존성이 작용한 사례로 볼 수 있다. 이러한 결과는 모델이 독립적인 발음 인식보다는 언어적 규칙과 문맥에 지나치게 의존함을 뜻한다. 반면, ‘모델5.0’은 “왜이”를 정확히 출력하며 정답 레이블과 일치하는 결과를 나타냈다. 이는 개선 후 모델이 문맥 의존성을 줄이고, 발음의 독립적 처리를 강화한 결과로 해석된다.

지금까지 살펴본 바와 같이, ‘모델3.0’은 ‘모델5.0’에 비해 문맥 의존성을 더 많이 반영하여 문법적으로 자연스러운 결과를 인식하려는 경향을 보였으며, 이로 인해 실제 발음과 불일치하는 오류가 빈번히 발생하였다. 반면, ‘모델5.0’은 상대적으로 문맥에서 벗어나 발음을 독립적으로 처리하여 실제 발음과 더 가까운 결과를 도출하였다. 이 두 모델의 출력 결과 비교를 통해 데이터 레이블의 정제에 따른 음소 단위 레이블의 개선으로 모델이 문맥 의존성을 줄이고 발음 기반의 학습을 더 충실히 수행함을 확인할 수 있다.