Praat과 R로 분석한 한국인 대화 음성 말뭉치의 fundamental frequency(f0)값 분포^*

국립국어원의 ‘일상 대화 음성 말뭉치 2020’ 녹음에 참여한 인원수는 총 2,740명이다. 이 가운데 남성화자는 677명이고 여성은 2,063명이다. 여성화자의 수가 거의 남성화자의 세 배를 넘는다. 표 1은 말뭉치 녹음에 참여한 대상자들의 정보를 담은 JSON 텍스트 파일에서 추출한 나이대별, 성별 분포를 보여준다.

참여자들 중 20대가 874명으로 가장 많고, 이 가운데 여성이 638명이나 된다. 이어서 40대가 641명이며 이 가운데 여성이 481명이다. 70대는 1명이 참여했다. 남녀로 구분해보면 이런 나이 분포는 연령대를 균등하게 표집한 것으로 보긴 어렵지만, 다수의 화자가 참여해서 나이별 f0특성을 어느 정도 분석해볼 수는 있을 것으로 기대된다.

표 2는 말뭉치 녹음에 참여한 사람들의 지역별 분포를 인원수가 많은 것부터 정렬하여 보여준다.

표 2에서 17개 주요 도시와 도별로 구분한 참여자 인원수를 보면, 서울 지역 참여자가 676명으로 가장 많으며, 이어서 부산 지역에서 380명, 경기 지역에서 314명이 참여했다. 울산 24명에 이어 세종시 5명이 가장 적다.

참여자들은 가족, 영화, 먹거리, 반려동물 등, 총 15개 주제에 대해 2명이 한 조를 이루어 1,818건의 일상적인 대화 자료와, 13개의 신문 기사에 대해 의견을 주고받는 414건의 대화 자료로 되어 있다. 파일 수는 긴 휴지, 경계 억양, 경계말 장음화 등을 특징으로 하는 억양구 단위로 분할한 음성 파일 870,675개, 텍스트 파일 2,232개로 약 54.3 GB를 차지한다. 음성 파일은 16비트 양자화 선형 PCM파일로 16 kHz 표본화로 녹음되었고, 대화문과 참여자들에 대한 정보를 담은 JSON 텍스트 파일은 UTF-8로 저장되었다.

먼저 f0값을 구하는 과정은 폴더의 음성파일을 Praat에 불러와 f0분석을 하고 결과값을 컴퓨터에 직접 저장하는 Praat스크립트를 이용했고, 참여자 개인별 정보 수집은 R을 이용했다(Yang, 1998, 2021a, 2021b 참고). Praat스크립트는 국립국어원에서 제공한 음성 파일 폴더의 모든 목록 이름을 리스트 형태로 구한 다음, 개인별로 녹음한 음성파일이 들어 있는 폴더에 들어가 PCM형태로 저장된 파일을 16비트 Little Endian 형태로 Praat 개체창에 불러왔다. 이어서 개체창의 파일을 처음부터 차례로 선택하고 f0값을 다음과 같은 Praat 스크립트로 구하고 그 파일 구간 내에서 20 ms마다 75 Hz에서 600 Hz 범위로 f0개체를 만들고 f0개체창의 값들을 제1사분위(q25)와 제3사분위(q75)를 구하고 사분위 간 범위인 interquartile range(iqr)를 구하여 이 값의 1.5배 아래나 위에 해당하는 상한값(highcut), 하한값(lowcut)을 구해 이 범위 안의 f0값만 하드디스크에 파일로 저장했다. 이런 상하한값을 이용하면 억양구 단위로 구분된 파일 내에서의 피치측정에러에 의한 극단값을 어느 정도 제거할 수 있다.

이 과정에서 주로 어절 초나 말에서 f0값이 구해지지 않아 undefined로 나타난 경우와, 앞의 단락에서 언급한 사분위 밖의 값을 undefined로 정의하여 출력파일에 덧붙여 저장하지 않고 건너뛰도록 했다. 이렇게 제외된 값의 수는 모든 화자들의 전체 f0값에서 차지하는 비율이 아주 낮아서 전반적인 분포를 파악하기 위한 통계분석에 영향을 끼치지 않을 것이다. 참고로 일부 연구에서는 40 dB 이하의 신호에서 구한 값을 제거하거나, 남성의 범위는 70–350 Hz로 여성은 100–500 Hz 범위로 지정하여 처리한 경우도 있다(Shi et al., 2014). 이렇게 특정범위의 값만 수용할 경우에는 다양한 감정을 표현하는 실제 대화에서의 타당한 f0값을 놓칠 수도 있다. Boothroyd(1986)는 성인남성의 f0값의 범위가 70–200 Hz를 보였고, 여성의 경우에는 140–400 Hz, 아이들에서는 180–500 Hz로 나타났다고 한다.

마지막으로 집단별 특성을 파악하기 위해서 참여자들에 대한 정보가 있는 JSON 텍스트 파일에서 R스크립트를 이용해서 화자 고유번호, 연령대, 성별, 지역 정보를 추출한 다음, 앞에서 구한 f0자료와 합쳐서 최종 자료파일로 만들었다.

f0값에 대한 자료 분석과 통계는 Lennes et al.(2015)의 R스크립트의 일부 코드를 활용하여 상자도와 밀도함수로 나타내었다. 이어서 중앙값, 평균값과 표준편차값 등의 기초통계자료를 구하여, 성별, 연령대에 따른 집단별 자료 분포를 살펴보고, 나이와 f0값의 관계는 연령대별과 성별로 구한 중앙값과 나이에 대한 회귀분석으로 대체적인 관계를 살펴보았다.

참고로 개인별 억양구를 중심으로 극단값을 제거한 후에 저장한 자료를 한꺼번에 상자도로 그려보면 전체값을 반영하여 추정한 극단값들이 여전히 나타났다. 이 문제를 해결하기 위해서는 수많은 원자료의 극단값을 계속 되풀이해서 제거하여 지각적으로 더 이상 진행할 필요가 없는 단계를 찾는 추가 연구를 하거나, 화자개인별 f0범위나 억양구 내 앞 뒤 구간의 자료를 반영하지 않고 20 ms마다 구분된 분석 창에서 구해 주는 Praat의 f0분석 에러를 제거하는 과정이 필요하다.

표 3은 ‘일상 대화 음성 말뭉치 2020’에 녹음된 2,740명 화자들의 f0값의 통계를 보여준다.

표 3에 나타나 있듯이 모든 한국인 화자의 f0값의 최빈값은 186 Hz이고 총 816,798개로 모든 f0값의 약 1%를 차지했다. 평균값과 중앙값은 이보다 1 Hz 적거나 많은 185 Hz, 187 Hz로 각각 측정되었고, 표준편차는 52 Hz였다. 이 중앙값은 Yang(2021b)이 서울코퍼스에서 측정한 f0 평균값 160 Hz보다 25 Hz나 높아진 값인데, 이 연구에서는 여성화자의 수가 많아서 전체 평균값이 다소 높아진 것으로 보인다. 덧붙여, Yang의 연구에서는 중앙값이 148 Hz로 평균값과 12 Hz나 차이가 났었는데, 이 연구에서는 최빈값, 평균값, 중앙값의 차이가 거의 없다. 이러한 경향은 개인별 사분위값을 반영해 극단값을 통제한 결과로 여겨진다. 자료의 분포 모양을 보여주는 왜도는 0.11의 정적 편포를 나타내어 f0값이 높은 부분이 점점 작아지는 경사 모양을 보였고, 첨도값은 –0.09로 정상분포에 비해 아주 약간 납작하게 펼쳐진 모양을 보였다(Field, 2013). Yang의 서울코퍼스 연구에서는 왜도가 0.92로 정적 편포를 보였고, 첨도도 0.94로 뾰족한 모양을 보였다.

그림 1은 한국어 대화 음성 말뭉치의 상자도를 보여준다. 상자도 안의 굵은 선으로 표시된 중앙값은 187 Hz이고 아랫수염(lower whisker)은 75 Hz이고, 윗수염(higher whisker)은 313 Hz이다. 이 값들은 표준편차의 제1·제3 사분위값에 +/–2.7σ로 구한 값으로 99.3%의 자료가 포함되는 구간이다. 상자도에서는 보통 이 기준 이상이나 이하는 작은 동그라미로 나타난다. 실제 이 값은 앞 절의 상한선 제1사분위값이 153 Hz이고, 제3사분위값은 217 Hz여서 그 범위는 64 Hz로 이를 1.5배하여 제3사분위값에 더하면 313 Hz가 되어 윗수염의 값과 같고, 이 값 위의 자료는 통계적으로는 집단에서 벗어난 극단값으로 처리될 수 있다. 하지만, 실제 대화 음성에서 이런 값들이 나올 수도 있기 때문에 전체 음성에서 무조건 제거하는 것은 바람직하지 않을 것으로 여겨져서 이 논문에서는 추가 제거를 실시하지 않았다. 앞으로 이런 부분에 대한 통계처리 과정과 실제 음성자료에 대한 서술이 적정한 지는 추가 논의나 검증이 필요하다. 여기서 한국인의 일상 대화에서의 윗수염값에서 아랫수염값을 뺀 99.3%에 해당하는 f0자료의 변화 범위는 238 Hz라고 할 수 있다. Yang (2021b)의 연구에서는 274 Hz의 범위를 보였는데 이는 옥타브점프로 눈에 띄게 에러 난 부분을 수작업으로 처리하는 방법을 적용했지만, 모든 자료를 다 꼼꼼하게 확인하고 수정하기는 어려웠을 것이다. 실제 수천 명이 참여한 한국어 말뭉치와 같은 대규모 코퍼스에서는 이렇게 확인하고 제거하는 작업이 거의 불가능하기 때문에 본 연구에서 채택한 개인별 억양구의 사분위 범위를 우선 활용하는 방법을 권한다. 또한 억양구별로 구한 값보다는 개인별로 모든 피치값을 다 구한 뒤 사분위를 구하여 한 번 더 걸렀을 때 얼마나 극단값을 정밀하게 제거할 수 있을 지에 대한 추가연구도 필요하다.

그림 1. | Figure 1. 한국어 ‘일상 대화 음성 말뭉치 2020’의 2,740명에 대한 f0값(Hz)의 상자도 | Boxplot of f0 values (Hz) of 2,740 speakers in the Korean ‘Dialogue Corpus (audio) 2020’

Download Original Figure

표 4는 남녀별 f0값의 통계치를 보여준다. f0값의 표본 수에서는 여성화자의 f0값의 표본수가 3.4배나 더 많다. 이러한 결과는 표 1에서와 같이 여성참여자가 남성참여자에 비해 3배나 많았고, 대화에서도 좀 더 길게 말한 것으로 보인다. 남성의 f0 중앙값은 114 Hz이고, 여성의 중앙값은 199 Hz로 여성화자의 f0값의 표본수가 1.75배나 된다. 남녀 간의 차이를 t검증으로 실시해본 결과(t=–10,362, df=45,088,097, p<.05)로 유의미한 차이를 보였다. 남성에 비해 여성의 표준편차가 높게 나온 것은 남성보다 높은 f0값과 많은 참여자 때문일 것으로 추정된다. 많은 자료임에도 개인별 억양구에서 구한 f0극단값을 제거했기 때문에 중앙값을 기준으로 보았을 때 평균값과 최빈값 등이 10 Hz의 작은 차이를 보였다. 서울코퍼스에서 측정한 남녀별 f0의 중앙값은 각각 111 Hz와 200 Hz를 기록했다. 이 연구의 결과와 비교해보면, 각 남녀 집단에서 1–3 Hz밖에 차이가 없다. 이런 결과를 보면 극단치를 적절하게 제거하면 인원수가 많든 적든 안정적인 f0의 중앙값을 구할 수 있음을 알 수 있다.

그림 2는 남녀별 f0값의 밀도그래프를 보여준다. 일반적으로 밀도그래프는 막대그래프의 단점을 보완하여 각 데이터를 전체면적 1 내에서 밀도분포라는 개념을 사용하여 추정하여 보여준다. 이 그림에서 보면 남녀 모두 오른쪽으로 긴 꼬리가 내려지는 모양을 보이고 있고, 남성의 f0값이 여성의 값보다 상대적으로 뾰족한 모양을 보이고 있다. 분산을 보여주는 왜도 통계치로는 남성의 f0값이 1.24이고, 여성의 값은 0.58로 양수값을 나타내어 남성의 반에 해당하며 넓게 퍼져있다. 뾰족한 정도를 보여주는 첨도값은 각각 5.21과 3.88로 남성의 값이 34% 정도 상대적으로 더 뾰족한 모양으로 중앙값 주변에 몰려있다. Yang(2021b)의 서울코퍼스 연구에서도 남녀집단의 왜도가 각각 1.34와 0.66으로 나타났고 첨도는 2.88과 2.37로 거의 비슷한 유형의 그림을 보였는데, 이 연구의 결과는 Yang(2021b)에 비해 남성의 첨도값이 55% 더 뾰족한 모양을 보였다.

그림 2. | Figure 2. 한국어 ‘일상 대화 음성 말뭉치 2020’의 남녀별 f0값 밀도그래프 | f0 density plot of male and female speakers in the Korean ‘Dialogue Corpus (audio) 2020’

Download Original Figure

표 5는 연령대별 f0값의 최빈값, 평균, 표준편차, 중앙값 등을 보여주고 있다.

연령대별 자료의 수를 보면 20대가 가장 많고 70대가 가장 적다. 구체적으로 앞에서 제시한 표 1에서 20대의 참여자수가 874명으로 가장 많았고 70대는 1명에 불과했다. 표준편차의 평균은 48.6 Hz인데, 20대와 30대의 표준편차가 53 Hz로 가장 높고, 70대는 37 Hz로 가장 낮다. 개인별 억양구마다 사분위범위에 해당하는 f0값을 이용해서 극단값을 어느 정도 걸러주었기 때문에 전체적으로 비슷한 표준편차값을 보였고, 70대의 참여자는 한 명이어서 편차가 가장 적었다.

그림 3은 한국어 말뭉치의 연령별 f0값의 밀도그래프를 보여준다. 그림은 연령별로 쌍봉과 단봉의 형태를 보여주고 있다. 70대는 한 명이라 단봉으로 나타났고, 나머지 나이대는 거의 쌍봉에 가까우며 쌍봉의 위치 차이는 나이가 적을수록 넓어져 있음을 볼 수 있다. 이러한 모양은 두 가지 원인이 있을 것으로 추정된다. 첫째, 남녀 참여자를 함께 그렸기 때문에 여성화자수가 많은 연령대인 경우에는 f0값이 높은 쪽의 봉우리가 높게 나타나고, 여성보다 적은 수이지만 남성 참여자의 f0값이 집단별 f0값을 낮은 쪽으로 끌어 내리는 작용을 한 것으로 보인다. 둘째, 여성화자에게서도 Praat의 f0측정 알고리즘에 일부 에러가 있어서, 화자의 평균 f0에 비해 반이나 두 배가 되는 값들이 여전히 측정되고 있기 때문이다. 대규모의 음성파일에서 Yang(2021b)의 연구에서와 같이 측정된 f0값을 좁은대역 스펙트로그램에서 대조해 보면서 일일이 점검하지 못하는 문제가 발생하기 때문에 이 두 번째 문제는 Praat의 측정 방법이 개선되면 해결될 수 있을 것이다.

그림 3. | Figure 3. 한국어 ‘일상 대화 음성 말뭉치 2020’의 연령대별 f0값 밀도그래프 | f0 density plot of age groups in the Korean ‘Dialogue Corpus (audio) 2020’

Download Original Figure

그림 4는 한국어 말뭉치의 연령대별 f0값의 상자도를 보여준다. 이 그림에서 보면 나이가 들수록 f0값이 낮아지는 경향을 보인다. 나이와 f0의 관계를 추정하려면 회귀분석을 실시하면 된다. 그런데 여기서 한 가지 지적할 것은 한국어 말뭉치를 수집할 당시에 참여자들의 실제 나이를 입력하지 않고, 10년 단위로 체크하여 표시하였기 때문에 두 변수 사이의 관계를 예측하기 위한 기울기나 절편을 계산하는 데 정확도가 떨어질 우려가 있다. 덧붙여, 연령별로 남녀 간의 참여자 비율이 비슷하지 않고 여성의 자료가 훨씬 더 많이 차지하고 있었다. 마지막으로, 최신의 16 GB메모리를 갖춘 iMac 컴퓨터로 남녀 집단의 모든 f0데이터를 한꺼번에 회귀분석을 실행해보았지만 오류가 나서, 이 논문에서는 다음과 같이 첫 세 줄의 R코드를 입력하여 표 5의 남녀별 f0중앙값과 연령대별 회귀분석결과인 점선 아래 결과값의 예측 계수로 대체적인 관계를 살펴보았다. 남성 70대는 한 명이라 대푯값으로 볼 수 없어서 제외했다.

그림 4. | Figure 4. 한국어 ‘일상 대화 음성 말뭉치 2020’의 연령대별 f0값의 상자도 | Boxplots of f0 distribution by age groups in the Korean ‘Dialogue Corpus (audio) 2020’

Download Original Figure

모든 참여자들에 대한 회귀분석 결과를 보면 기울기가 –0.497로 절편값인 202 Hz에서 서서히 내려가는 경향을 보여준다. 이러한 경향은 그림 4에서와 같이 나이가 들수록 f0중앙값이 점점 낮아지는 모습과 일치한다. 이 회귀공식대로라면 수정된 R제곱값에 100을 곱한 약 59.3%의 정확도로, 실제값을 예측할 수 있다는 것인데 실제 데이터에서는 그림 4의 윗수염과 아랫수염의 범위나 극단치값들에서 볼 수 있듯이 자연스러운 감정표현이 들어간 대화체 음성이라 연령대별로 편차가 많아서 예측값의 정확도는 이보다 훨씬 낮아질 것이다.

이번에는 남녀별로 f0값이 다르기 때문에 각 집단(맨 뒷글자 f, m으로 남녀 구분)의 나이대별 중앙값을 구해서 각각 3줄의 R코드로 전체적인 경향을 파악하기 위해 처리한 뒤 결과값의 계수만 제시해 보았다.

여성집단에서는 기울기가 –0.586이고 절편이 205 Hz로 두 계수 모두 유의미한 관계를 보였고, 예측도를 보이는 수정된 R제곱값도 0.92로 매우 높게 나타났다. 이에 비해 남성집단에서는 기울기가 0.15, 절편이 100.4 Hz이지만 기울기는 유의미하지 않고 절편만 유의미한 관계를 보였고 수정된 R제곱값도 0.32로 매우 낮게 나타났다. Yang(2021b)의 남녀 집단별 회귀분석에서 남성집단의 기울기가 0.34이고 절편이 0.01로 나타났고, 여성집단의 기울기가 –0.002이고 절편은 206.1 Hz로 나타났는데, 남성집단은 유의미한 결과이지만 수정된 R제곱값은 0.018로 매우 낮았고, 여성집단의 기울기값은 통계적으로 유의미하지 않는 결과로 나타났다. 이러한 관계를 시각적으로 확인하기 위해 그림 5와 같이 남녀집단별로 회귀분석한 자료를 나타내 보았다.

그림 5. | Figure 5. 한국어 ‘일상 대화 음성 말뭉치 2020’의 남녀집단별 f0중앙값과 나이 간의 회귀분석 예측선 | Ablines of the regression analyses between median f0 values and ages by male and female groups in the Korean ‘Dialogue Corpus (audio) 2020’

Download Original Figure

그림 5의 남성집단의 중앙값의 분포를 보면 여성집단의 음의 기울기와는 다소 다른 양의 기울기를 보이고 있는데 Yang(2021b)의 연구결과에서도 비슷한 모양을 나타냈다. 이러한 관계는 나이가 적은 참여자들의 신체가 60대 참여자들보다 더 크고, 이들의 성대의 크기와 무게도 상대적으로 더 커서, 피치값이 낮아졌을 수도 있다(Yang, 1998, 2021b). 결국 이 남녀 집단의 회귀분석을 본다면, 앞의 전체집단의 f0와 나이에 대한 관계는 참여자가 훨씬 많은 여성집단의 기여도가 주를 이루고 있음을 알 수 있다. 특히 참여자의 실제 나이를 사용하기보다는 10년 간격의 나이대를 사용하는 데서 f0 측정값들이 뒤섞여서 정밀한 예측값을 구할 수 없게 된 것이 이들 사이의 관계를 확정적으로 정의할 수 없는 근본적인 문제점이라 여겨진다. 덧붙여, 이 말뭉치에서 60대 화자가 146명이고 70대가 1명으로 60대 이후의 참여자들이 많이 확보되지 않아 노년 화자들의 나이와 f0의 관계를 보여주는 데 한계가 있다고 본다. 예를 들어, Hollien & Shipp(1972)의 연구에서는 20세에서 89세까지 남성 175명의 나이와 f0 사이의 관계를 조사했는데, 20세에서 40세까지는 점점 내려가다가 60세에서 80세로 갈수록 올라가는 경향을 보였다고 한다. 이에 반해 여성의 f0는 중년 이후에는 낮아지게 되어 남녀의 f0가 서로 수렴하는 경향을 보였다(Baken, 2005, Figure 2 참조). 나이와 f0 사이의 타당하고 신뢰할만한 관계를 정립하기 위해서는 앞으로 측정이 가능한 어린 연령대의 남녀집단과 노인 남녀집단에 대한 대규모의 연구가 필요할 것으로 여겨진다. 특히, 두 변수 사이의 근본적인 관계규명을 위해서는 참여자들의 해부학적인 성대모양과 조직의 변화에 대한 측정을 반영할 필요가 있다.