철자 기반과 음절 기반 속도가 한국인 영어 학습자의 발음 평가에 미치는 영향 비교^*

본 연구에서는 1장에서 언급한 것과 같이 AI Hub에 구축되어 있는 ‘교육용 한국인의 영어 음성 데이터’를 사용하였다(National Information Society Agency, 2023). 이 데이터는 영어 음성 인식, 통·번역, 교육용 AI 모델 등의 연구, 개발에 활용하고, 영어 교육을 위한 AI 기반 발음, 말하기 평가 시스템 개발을 위해 구축된 것으로 음성 발화는 wav 형식으로 되어 있고, 평가 점수와 발화에 대한 각종 정보가 담겨 있는 어노테이션(annotation) 파일은 json 형식으로 되어 있다. 이 데이터에는 발음 평가 데이터와 말하기 평가 데이터가 포함되어 있는데, 본 연구에서는 발음 평가 데이터를 활용하여 연구를 진행하였다. 발음 평가 데이터는 한국인 영어 학습자가 영어 문장을 낭독한 음성을 듣고, 발음 및 운율의 유창성을 평가한 점수와 틀린 발음의 유형 태깅 정보, 문장 단위의 철자 전사, 정답 음소, 발화 음소 라벨링 정보 및 발음 자질 정보가 어노테이션 파일에 기록되어 있다. 어노테이션 파일은 Python의 json 패키지를 이용해 파일에 포함된 다양한 자질을 추출한 후 csv 파일로 변환한 뒤 저장하여 활용하였다.

발음 평가 데이터는 다시 훈련 데이터(training data)와 검증 데이터(validation data)로 구분되어 있는데, 훈련 데이터에는 총 91,594개의 발화가 녹음되어 있고, 검증 데이터에는 총 11,450개의 발화가 녹음되어 있다. 본 연구에서는 그 중, 훈련 데이터에서 900개의 발화, 검증 데이터에서 180개의 발화를 추출하였다. 데이터를 추출할 때 음성 인식 결과물인 Speech-To-Text (STT) 결과물에 숫자가 포함되어 있을 경우, 실제 발음에 다양한 변이가 있을 수 있기 때문에 수가 포함된 발화는 제외하였다. 데이터는 13세, 19세, 26세의 데이터를 추출했는데, 13세는 녹음에 참여한 발화자 중 제일 어린 연령으로 중등학교를 막 시작한 연령대를 대표하는 집단으로 가정하였다. 19세는 대학에 막 입학한 성인 화자를, 26세는 대학을 마친 성인 화자를 대표하는 연령으로 가정하였다. 모든 연령대의 데이터를 추출할 수 없었기 때문에 영어 학습량과 형태에 큰 변화가 있는 이 세 연령대를 추출하여 전 연령대를 대표할 수 있다는 가정 하에 분석을 진행하였다.

훈련 데이터에서는 연령별로 각각 300개의 발화를, 검증 데이터에서는 훈련 데이터의 20%에 해당하도록 연령별로 각각 60개의 발화를 추출하였다. 화자의 언어 실력은 상, 중, 하로 구분되어 있는데, 이것은 자신이 인지하는 언어 실력을 본인이 제출한 것이다. 13세는 훈련 데이터와 검증 데이터 모두 언어 실력이 ‘하’였고, 19세와 26세의 경우에는 훈련 데이터에서는 ‘상’, ‘중’, ‘하’ 각각 100개씩, 검증 데이터에서는 각각 20개씩 추출하였다. 성별은 동수를 이루게 자료를 추출하였다. 추출된 자료의 구체적인 연령별, 성별, 수준별 분포는 표 1과 같다.

발음 평가 데이터에는 녹음 일자를 비롯해 발음 자질 등 총 40여개의 어노테이션 항목이 있는데, 본 연구를 위해 그 중, 성별(gender), 연령(age), 언어 실력(ability), STT 결과물(sttText), 철자 기반 발화 속도(SpeechRate), 철자 기반 조음 속도(ArticulationRate), 초당 단어 수(wpsec), 발화 내 초당 단어 수(wpsecutt), 문장 단위 오류 유형 라벨링(tagging), 발음의 정확성 점수(ArticulationScore), 운율의 유창성 점수(ProsodyScore), 합산 점수(RatingSum)를 활용하였다. 평가는 두 명의 평가자가 각자 평가한 후 점수 차가 2점 이상일 경우 제3의 전문가가 최종적으로 점수를 조정하는 방식으로 이루어졌고(Han, 2023), 발음의 정확성 점수와 운율의 유창성 점수는 각각 1점부터 5점까지, 합산 점수는 두 점수를 합친 1점부터 10점까지 부여하였다.

어노테이션 파일에서 발화 속도와 조음 속도는 일반적으로 음성학 연구에서 많이 활용되는 초당 음절 수를 계산한 것이 아니고, 철자를 바탕으로 한 초당 글자 수를 계산한 것이기 때문에 초당 음절 수는 어노테이션 파일과 별도로 연구자가 직접 계산하였다.

개별 발화의 총 음절 수는 Python의 pandas, nltk와 cmudict 패키지를 활용하여 추출하였다. 발음 평가 데이터의 실제 발화 음성에 대한 스크립트인 STT 결과물 sttText를 위에 제시한 패키지에 포함된 발음 사전과 대조해 음절 수를 계산하였다. 휴지를 제외한 순수 음성 발화의 길이(phonation time)는 De Jong & Wempe (2008)의 Praat 스크립트를 활용해 추출하고, 어노테이션 파일에 포함된 PhonationTimeRatio(ptr)를 음성 발화의 길이에 대입해 휴지를 포함한 전체 발화 길이를 계산하였다. 예를 들면, 순수 음성 발화의 길이가 2.86초로 추출되고, 해당 음성 파일의 ptr이 0.94이면 순수 음성 발화의 길이를 ptr로 나누어 3.04초의 휴지를 포함한 전체 발화 길이를 도출할 수 있다. 해당 파일의 발화 스크립트를 기반으로 추출된 총 철자 수가 34개이고, 총 음절 수가 11개라고 가정할 때, 34개의 철자를 3.04초로 나누면 초당 11.18이라는 철자 기반 발화 속도(SpeechRate)가 계산되고, 2.86초로 나누면 초당 11.89라는 철자 기반 조음 속도(ArticulationRate)가 계산된다. 반면, 총 음절 수 11개를 3.04초로 나누면 초당 3.62라는 음절 기반 발화 속도(SpeechRate_s)를, 2.86초로 나누면 초당 3.85라는 음절 기반 조음 속도(ArticulationRate_s)를 구할 수 있다. 철자 기반 발화 속도와 조음 속도는 어노테이션 파일에 이미 포함되어 있기 때문에 본 연구에서는 그 정보를 그대로 사용하였고, 음절 기반 발화 속도와 음절 기반 조음 속도만 새롭게 계산하여 활용하였다.

문장 단위 오류 유형은 어노테이션 파일에 정조음(C), 음소 삭제(D), 음소 삽입(I), 음소 교체(S), 기타(O)로 분류되어 있는데, 개별 발화에 대해 전체 음소에 대한 각 유형의 개수를 구해 백분율로 변환하였다. 예를 들어 특정 발화에서 인식된 전체 음소 33개 중 정조음이 21개라면 63.64%로 계산하였다. 모델링에서는 각 비율을 ‘정조음비율(PctC)’, ‘음소삭제비율(PctD)’, ‘음소삽입비율(PctI)’, ‘음소교체비율(PctS)’, ‘기타비율(PctO)’로 각각 명명하였다.

어노테이션 파일에서 추출된 발화 속도 및 일부 운율 요소와 분절음 요소가 발음의 정확성 점수, 운율의 유창성 점수, 합산 점수에 어떤 예측력을 가지는지 분석하기 위해 R(R Core Team, 2023)에서 ‘lme4’ 패키지(Bates et al., 2015)와 ‘lmerTest’ 패키지(Kuznetsova et al., 2017)를 사용해 훈련 데이터에 대해 선형혼합효과분석(linear mixed effects regression)을 실행하였다. 평가 점수를 종속 변수로 두고 발화자(RecorderID)와 평가 유형(TestType)을 임의 효과(random effects)로 한 후, 어노테이션 파일에 있는 다양한 요소를 고정 효과(fixed effects)로 대입해 최적의 모델을 보여주는 요소가 무엇인지 분석하였다. 발화 속도의 경우 모델을 구성할 때 어노테이션 파일에 있는 철자 기반 발화 속도, 철자 기반 조음 속도, 초당 단어 수, 발화 내 초당 단어 수와 본 연구를 위해 새롭게 계산한 음절 기반 발화 속도, 음절 기반 조음 속도 중 각 하나씩만 선택하여 모델을 만들었다. 속도 요소를 모두 하나의 모델식에 반영할 경우 다중공선성(multicollinearity)으로 인해 독립 변수들 간의 강한 상관관계가 나타나기 때문이다. 이것은 ‘정조음비율’과 다른 오류 비율의 경우에도 마찬가지로 ‘정조음비율’이 높으면 오류 비율이 낮아지기 때문에 두 유형 중 한 유형만 모델에 반영하였다.

다양한 모델에서 도출된 AIC(akaike information criterion)를 비교하여 AIC가 가장 낮은 모델 3개를 선정해, 최적의 모델에서 예측력이 큰 고정 효과가 무엇인지 분석하였다. AIC는 다양한 모델의 상대적 적합도를 비교해 최적의 모델을 선택하는 준거 공식의 하나이다. 관찰 데이터에 대한 모델의 적합도를 나타내는 로그 가능도(log-likelihood)가 클수록 그 값이 낮아지고, 모델의 매개변수(parameter)가 복잡할수록 불이익을 주는 구조이기 때문에 AIC가 낮을수록 모델의 적합도가 더 크다고 할 수 있다(Chakrabarti & Ghosh, 2011).

적합도가 큰 3개의 모델을 적용해 훈련 데이터를 대상으로 한 모델의 예측 평가 점수가 검증 데이터의 평가 점수와 얼마나 상관관계가 있는지 알아보기 위하여 상관관계 분석을 실시하였다. 상관관계 분석과 함께 예측 평가 점수와 실제 점수 간의 ‘평균 제곱 오차(mean sqaure error, MSE)’, ‘평균 제곱근 오차(root mean square error, RMSE)’, ‘평균 절대 오차(mean absolute error, MAE)’도 추출하였다.

훈련 데이터에 있는 발음의 정확성에 대한 연령별, 성별, 언어 실력별 평균 점수는 표 2와 같다.

표 2를 보면 19세의 경우 남녀 모두 자신의 언어 실력이 ‘중’이라고 진술한 참여자의 발음 정확성 평균 점수가 가장 높고, 특히 남성의 경우에는 언어 실력이 ‘상’인 경우의 평균 점수가 가장 낮았다. 발음 평가의 외적 요인인 ‘연령’, ‘성별’, ‘언어 실력’은 본 연구의 주제가 아니기 때문에 더 깊이 분석하지는 않지만, 추후 언어 외적 요인이 발음 평가에 미치는 상호작용 등에 관한 추가 연구가 필요한 부분이다.

훈련 데이터의 어노테이션 파일에 포함된 다양한 요소를 고정 효과로 하여 발음의 정확성 점수에 대한 예측력 분석을 한 결과 표 3과 같이 다음 3개 모델의 AIC가 가장 낮아 가장 최적의 모델로 선정하였다.

각 모델에 대한 분석 결과는 표 4와 같다.

발음의 정확성 점수에 대한 상위 3개 모델의 분석 결과를 살펴보면 ‘M04’의 경우 잔차(intercept)의 추정치(estimate)가 2.244로, 모든 예측 변수가 ‘0’일 때 발음 평가 점수를 ‘2.244’로 예측하고 있다. 모든 고정 효과 중 ‘음절기반조음속도’가 발음 평가 점수에 가장 크고 유의미한 긍정적 효과를 미치고 있다. 표 3을 보면 ‘음절기반조음속도’가 ‘1’씩 증가할 때마다, 발음 평가 점수는 ‘.2209’점 상승하는 것으로 예측하고 있다. 두 번째로 유의미한 효과를 보이는 것은 ‘정조음비율’로 ‘1%’ 증가할 때마다, 발음 평가 점수가 ‘.0081’점 상승하는 것으로 예측하고 있다.

‘M03’의 경우 모든 예측 변수가 ‘0’일 때 발음 평가 점수는 ‘2.27’로 예측되었고, ‘음절 기반 발화 속도’가 ‘1’씩 증가할 때마다 발음 평가 점수가 ‘.217’씩 상승하고, ‘정조음비율’이 ‘1%’ 증가할 때마다, 점수가 ‘.0081’ 상승하는 것으로 예측되었다. ‘M01’은 모든 예측 변수가 ‘0’일 때 ‘발음 평가 점수’는 ‘2.186’으로 예측되었고, ‘철자기반발화속도’가 ‘1’씩 증가할 때마다 점수가 ‘.0742’씩 상승하고, ‘정조음비율’이 ‘1%’ 증가할 때마다, 점수가 ‘.0088’ 상승하는 것으로 예측되었다.

최적의 3개 모델을 검증 데이터에 적용했을 때 예측된 평가 점수와 실제 점수 간에 어느 정도의 일치성이 있는지 알아보기 위하여 상관관계 분석을 실시하였다. 상관관계 분석 결과는 표 5와 같다.

표 5를 보면 ‘M03’이 발음 평가 예측 점수와 실제 점수와의 상관계수가 가장 크고(r=.67), AIC가 가장 낮아 최적의 모델로 선택된 ‘M04’는 상관계수가 .668로 미세하게 낮지만 큰 차이를 보인다고 할 수는 없다. ‘M01’은 두 모델에 비해 상관계수가 .664로 다소 낮게 나왔다. 상관관계를 그림으로 나타내면 그림 1과 같다.

그림 1. | Figure 1. 발음 평가 예측 모델의 상관관계 플롯 | Correlation plots of articulation score models

Download Original Figure

그림 1에서 점선은 상관관계가 ‘1’일 때의 가상선을 나타내고, 실선은 실제로 드러난 예측 점수와 실제 점수의 산포도를 직선으로 나타낸 것이다.

훈련 데이터의 운율 유창성 점수의 연령별, 성별, 언어 실력별 평균 점수는 표 6과 같다.

운율 유창성 평균 점수도 발음 정확성 평균 점수와 마찬가지로 19세에서 자신이 밝힌 언어 실력과 운율 유창성 평균 점수가 역전되는 상호작용을 관찰할 수 있다.

훈련 데이터의 어노테이션 파일에 포함된 다양한 요소를 고정 효과로 하여 운율의 유창성 점수에 대한 예측력 분석을 한 결과 표 7과 같이 다음 3개 모델의 AIC가 가장 낮아 가장 최적의 모델로 선정하였다.

각 모델에 대한 분석 결과는 표 8과 같다.

‘M012’의 경우 잔차의 추정치가 2.460으로, 모든 예측 변수가 ‘0’일 때 운율 평가 점수를 ‘2.460’으로 예측하고 있다. 이 모델에서는 ‘음절기반조음속도’만이 유일한 고정 효과로 사용되었고, 운율 평가 점수에 유의미한 긍정적 효과를 미치고 있다. ‘음절기반조음속도’가 ‘1’씩 증가할 때마다, 운율 평가 점수는 ‘.320’점 상승하는 것으로 예측하고 있다. ‘M011’은 ‘음절기반발화속도’만이 유일한 고정 효과로 사용되었는데, 이 예측 변수가 ‘0’일 때 운율 평가 점수는 ‘2.525’로 예측되고, ‘음절기반발화속도’가 ‘1’씩 증가할 때마다 운율 평가 점수가 ‘.309’씩 상승한다. ‘M04’는 모든 예측 변수가 ‘0’일 때 ‘발음 평가 점수’는 ‘2.082’로 예측되었고, ‘음절기반발화속도’가 ‘1’씩 증가할 때마다 점수가 ‘.312’씩 상승하고, ‘정조음비율’이 ‘1%’ 증가할 때마다, 점수가 ‘.005’씩 상승하는 것으로 예측되었다.

운율의 유창성 점수에 대한 최적의 3개 모델을 검증 데이터에 적용했을 때 예측된 평가 점수와 실제 점수 간에 어느 정도의 일치성이 있는지 알아보기 위하여 상관관계 분석을 실시하였고, 그 결과는 표 9와 같다.

‘M011’이 운율 평가 예측 점수와 실제 점수와의 상관계수가 가장 크고(r=.659), AIC가 가장 낮아 최적의 모델로 선택된 ‘M012’는 상관계수가 .657로 ‘M011’보다 미세하게 낮지만 큰 차이를 보이지는 않는다. ‘M04’는 두 모델에 비해 상관계수가 .651로 다소 낮지만 이 또한 크게 의미있는 차이라고 할 수는 없다.운율 평가 예측 모델의 상관관계를 그림으로 나타내면 그림 2와 같다.

그림 2. | Figure 2. 운율 평가 예측 모델의 상관관계 플롯 | Correlation plots of prosody score models

Download Original Figure

그림 1과 마찬가지로 점선은 상관관계가 ‘1’일 때의 가상선을 나타내고, 실선은 실제로 드러난 예측 점수와 실제 점수의 산포도를 직선으로 나타낸 것이다.

발음 평가 데이터의 어노테이션 파일에 있는 합산 점수는 개별 발화에 대한 총체적 평가가 아니고 단순히 발음 평가 점수와 운율 평가 점수를 합친 것이다. 하지만 여전히 개별 요소들이 합산 점수에 어떤 영향을 미치는지 분석하는 것이 필요하기 때문에 위의 절차와 동일하게 모델링을 진행하였다.

합산 점수의 연령별, 성별, 언어 실력별 평균 점수는 표 10과 같다.

합산 점수의 평균은 발음 평가 점수와 운율 평가 점수를 합친 점수에 대한 평균이기 때문에 19세에서 ‘언어 실력’과 평가 점수의 상호작용을 여전히 관찰할 수 있다.

훈련 데이터의 어노테이션 파일에 포함된 다양한 요소를 고정 효과로 하여 합산 점수에 대한 예측력 분석을 한 결과 표 11과 같이 다음 3개 모델의 AIC가 가장 낮아 가장 최적의 모델로 선정하였다.

구체적인 각 모델의 분석 결과는 표 12와 같다.

발음 평가 모델 및 운율 평가 모델과 달리 최적의 모델로 선택된 ‘M012’에서는 음소의 오류 요소들이 기여하고 있음을 알 수 있다. 이 모델에서 잔차의 추정치가 총 10점 가운데 5.784로, 모델에 사용된 모든 예측 변수가 ‘0’일 때 합산 점수를 ‘5.784’로 예측하고 있다. ‘음절기반발화속도’와 함께 ‘음소삽입비율’, ‘음소교체비율’이 유의미하게 영향을 미치는 고정 효과로 분석되었고, ‘음소 삭제 비율’은 유의미한 영향이 없었다. 이 모델에서 ‘음절기반발화속도’가 ‘1’씩 증가할 때마다, 합산 점수는 ‘.511’점 상승하는 것으로 예측하고 있다. 또 ‘음소삽입비율’과 ‘음소교체비율’이 각각 ‘1%’ 증가할 때마다 합산 점수가 ‘−.033’점과 ‘−.01’점 하강하는 것으로 예측하였다.

‘M04’는 ‘음절기반조음속도’와 ‘정조음비율’ 모두 유의미한 영향을 끼치는 고정 효과로 사용되었는데, 두 예측 변수가 ‘0’일 때 합산 점수는 ‘4.452’로 예측되고, ‘음절기반조음속도’가 ‘1’씩 증가할 때마다 합산 점수가 ‘.523’씩 상승하고, ‘정조음비율’이 ‘1%’씩 증가할 때마다 점수가 ‘.0121’씩 상승하는 것으로 예측되었다.

‘M011’에서는 유일하게 사용된 고정 효과인 ‘음절기반발화속도’가 합산 점수 예측에 유의미한 영향을 미치는 것으로 나타났다. 이 변수가 ‘0’일 때 합산 점수는 ‘5.423’으로 예측되었고, ‘음절기반발화속도’가 ‘1’씩 증가할 때마다 점수가 ‘.529’씩 상승하는 것으로 예측되었다.

합산 점수에 대한 최적의 3개 모델을 검증 데이터에 적용했을 때 예측된 평가 점수와 실제 점수 간에 어느 정도의 일치성이 있는지 알아보기 위한 상관관계 분석 결과는 표 13과 같다.

AIC에서 예측한 순서와 달리 ‘M011’이 합산 예측 점수와 실제 점수와의 상관계수가 가장 크고(r=.682), AIC가 가장 낮아 최적의 모델로 선택된 ‘M012’는 상관계수가 .680으로 ‘M011’보다 미세하게 낮지만 큰 차이를 보인다고 보기는 어렵다. ‘M04’는 두 모델에 비해 상관계수가 .675로 다소 낮다. 합산 점수 예측 모델의 상관관계를 그림으로 나타내면 그림 3과 같다.

그림 3. | Figure 3. 합산 점수 예측 모델의 상관관계 플롯 | Correlation plots of rating sum models

Download Original Figure

이전 그림과 마찬가지로 점선은 상관관계가 ‘1’일 때의 가상선을 나타내고, 실선은 실제로 드러난 예측 점수와 실제 점수의 산포도를 직선으로 나타낸 것이다.