Speech Disorders/말장애

일반 아동의 감정 발화 모방 능력: 음향학적 분석을 중심으로

김수빈1, 김정은1, 조수형1, 이효선1, 문성윤1, 이영미1,*
Subeen Kim1, Jungeun Kim1, Soohyoung Cho1, Hyosun Lee1, Seongyun Moon1, Youngmee Lee1,*
Author Information & Copyright
1이화여자대학교 언어병리학과
1Department of Communication Disorders, Ewha Womans University, Seoul, Korea
*Corresponding author : youngmee@ewha.ac.kr

© Copyright 2024 Korean Society of Speech Sciences. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Aug 05, 2024; Revised: Aug 26, 2024; Accepted: Aug 26, 2024

Published Online: Sep 30, 2024

국문초록

본 연구의 목적은 감정 발화 음성 녹음을 통해 대상 아동의 나이(전학령기-학령기)에 따른 음도, 강도, 발화 속도에 차이가 존재하는지 분석하기 위해서이다. 또한, 감정과 음도-강도-발화 속도 간 연관성을 확인하고자 한다. 만 4-9세의 정상 발달기 아동 35명이 본 연구에 참여하였다. 한국형 감정 발화 데이터베이스(KAV DB)에 속한 문장 발화를 통한 세 가지 감정(기쁨, 슬픔, 분노)의 음도-강도-발화 속도가 측정되었다. 최대/최소 음도, 최대/최소 강도, 발화 속도가 이원혼합분석을 이용해 측정되었다. 전학령기-학령기 학령기 아동 사이에 유의한 음도 차이가 관찰되었다. 분노의 음도가 가장 높았으며 기쁨-슬픔이 뒤를 이었다. 평균 강도 측정 결과, 학령기 아동들이 감정 발화 시 더욱 높은 강도로 발화했다. 감정 별 강도 측정 시, 기쁨의 강도가 슬픔보다 높았으며, 분노의 강도가 슬픔보다 높았다. 발화 속도에 있어서 집단 간 높은 유의도가 확인되었다. 발화 속도 측정 시, 기쁨의 발화 속도가 슬픔과 비교해 빨랐으며, 분노의 발화 속도가 기쁨-슬픔과 비교해 빨랐다. 기쁨-슬픔의 이차 상호 작용 효과에서 유의도가 높았다. 상호 작용 효과를 기반으로 발화 속도에서 집단 간 차이를 확인할 수 있었다. 본 연구는 음도-강도-발화 속도 간 감정 별 차이가 존재함을 시사한다. 또한, 결론을 통해 연령 별 감정 발화의 차이를 확인할 수 있다.

Abstract

This study aimed to investigate the acoustic characteristics of emotional speech in typically developing children. Thirteen preschoolers (4–5.9 years old) and 22 school-aged children (6–9.9 years old) participated in the study. The children were asked to imitate 15 utterances based on emotional utterances representing three different emotional expressions (happy, sad, and angry). Basic measures of the frequency, intensity, and duration of emotional expressions in the children's utterances were obtained as averages. We found that both preschoolers and school-aged children differentially imitated the emotional utterances in terms of basic frequency, intensity, and duration depending on the type of emotion (happy, sad, angry). In particular, we found that school-aged children spoke more slowly than preschoolers when expressing sadness. These results suggest that preschoolers and school-aged children can express emotions by modulating vocal pitch, intensity, and duration. In addition, school-aged children tended to modulate the duration parameter of prosodic elements to express different emotions compared to preschoolers. In general, differences in duration between developing children may be influenced by the maturity of the child's speech and language development.

Keywords: 감정발화; 음성; 학령전기 아동; 학령기 아동
Keywords: emotional speech; voice; preschool-age children; school-age children

1. 서론

인간은 음성을 사용하여 생각과 감정을 정확하게 표현하고, 상대방의 음성을 정확하게 이해하는 능력을 통해서 친밀한 대인관계를 형성할 수 있게 된다. 이때, 인간은 본인이 의도한 바를 정확하게 전달하기 위해서 언어적인 요소뿐만 아니라 비언어적인 요소를 함께 사용한다(Planalp, 1996). 언어적 요소는 화자의 메시지를 글자로 기록할 수 있어서 의미를 정확하게 전달할 수 있게 하며, 비언어적 요소는 글자로 기록될 수 없는 화자의 음성 음도, 운율(prosody), 제스처, 표정 등을 통해 화자의 의사소통 의도를 보다 정확하게 전달하는 데 사용된다. 즉, 의사소통 과정에서 청자는 화자의 발화에서의 언어적 요소에만 의존하여 메시지를 해석하지 않으며, 화자가 말하는 동안에 보여주는 표정, 제스처, 운율 등의 비언어적 요소를 함께 해석하여 화자의 의사소통 의도를 정확하게 이해하려고 한다. 의사소통에서의 비언어적 요소의 중요성에 대해서는 다수의 선행 연구(Carstensen et al., 1999; Knapp, 1980)에서 보고한 바 있다. Burgon et al.(1990)의 연구에 따르면, 인간은 상대방의 의도를 정확하게 이해하기 위해서 비언어적 요소에 먼저 주의를 기울인 후에 언어적 메시지를 이해하며, 화자의 언어적 메시지와 비언어적 요소 간의 정보가 불일치할 경우에는 언어적 요소보다는 비언어적 요소를 더 신뢰하는 정보로 받아들이는 경향이 있었다. 특히, 비언어적 요소 중에서 운율은 인간의 음성의 음도(pitch), 강도(intensity), 말속도(speaking rate) 등을 통해서 파악되는 요소로, 감정을 정확하게 표현하고 상대방의 감정을 정확하게 이해하는 데 중요한 역할을 한다(Coutinho & Dibben, 2013; Planalp, 1996; Trainor et al., 2000). 화자가 동일한 언어적 메시지를 말하더라도 운율을 다르게 산출한다면, 청자는 화자의 메시지를 완전히 다른 의미로 이해할 수도 있는 것이다. 음성 의사소통 과정에서 청자가 화자의 감정을 정확하게 이해한다는 것은 단어와 문장 등과 같은 언어적 요소와 결합된 준언어적 요소인 운율을 함께 이해한다는 것을 의미한다.

발화의 운율 정보를 통해서 상대방의 감정을 이해하는 능력은 영유아기부터 발달하며(Trainor et al., 2000), 연령이 증가할수록 상대방의 감정을 이해하는 능력은 더욱 정교해진다. 예를 들면, 학령전기 아동은 의사소통 맥락과 화자 발화의 언어적 내용을 바탕으로 상대방의 감정을 이해하는 반면에, 학령기 아동은 의사소통 맥락, 단어 및 문장의 의미, 운율 정보를 종합적으로 해석하여 상대방의 감정을 이해한다(Aguert et al., 2010; Friend & Bryant, 2000; Kang et al., 2014; Morton & Trehub, 2001; Park, 2010). 나아가 초등학교 이후부터 상대방이 표현하는 감정과 실제 감정 사이의 차이를 구분할 수 있으며, 본인의 감정을 의도적으로 조절할 수 있게 된다(Han & Yoo, 1998; Kim, 2000). 이러한 선행 연구 결과를 토대로 볼 때, 아동의 연령이 증가함에 따라 운율 정보를 활용하는 능력이 발달하며, 상대방의 감정 발화(emotional speech)를 이해하는 능력뿐만 아니라 표현하는 능력도 정교해진다(Choi & Mazuka, 2003).

언어병리학 분야에서 아동의 의사소통 발달에서 상대방의 감정을 정확하게 이해하고 본인의 감정을 적절하게 표현하기 위해서 운율의 중요성이 부각되었으며, 의사소통장애 아동을 대상으로 운율 지각(perception)과 산출(production)에 관한 연구가 진행되어 왔다. 청각장애 아동의 감정 지각에 관한 선행 연구(Kim & Yoon, 2018; Lin et al., 2022; Most & Michaelis, 2012)에서는 청각장애 아동은 보장구(예: 보청기, 인공와우)를 착용하더라도 정상 청력 아동에 비해 감정 지각에 어려움을 경험하는 것으로 보고하였다. 예를 들면, 5세 이전에 인공와우 이식 수술을 받은 6–17세 청각장애 아동을 대상으로 한 Lin et al.(2022)의 연구에서 5가지 감정(행복, 슬픔, 공포, 분노, 중립)에 대한 음성 감정지각 과제를 실시한 결과, 청각장애 아동의 감정 지각 점수가 정상 청력 아동에 비해 낮았다. 그리고 Kim & Yoon(2018)이 학령기 인공와우 이식 아동을 대상으로 4가지 감정(기쁨, 슬픔, 공포, 화남)에 대한 음성 감정 지각 과제를 실시한 결과, 인공와우 이식 아동의 감정 지각 점수가 정상청력 아동에 비해 낮았다. 그리고 Most & Michaelis(2012)가 음성과 표정으로 4가지 감정(행복, 슬픔, 공포, 분노) 지각 검사를 청각장애 아동과 정상청력 아동에게 실시한 결과, 음성, 얼굴표정, 음성과 얼굴표정 단서 조건에서 모두 청각장애 아동이 일반 아동에 비해 감정 지각 점수가 낮았다. 그리고 자폐스펙트럼장애 아동의 운율 지각 및 산출 능력을 살펴본 선행연구(Diehl & Paul, 2012; Park & Shin, 2022; Scharfstein, 2011)에 따르면, 자폐스펙트럼장애 아동은 일반 아동에 비해 운율 정보를 정확하게 지각하고 발화에서 적절하게 산출하는 것에 어려움을 지니고 있었다. Scharfstein(2011), 그리고 Park et al.(2022)의 연구에 따르면, 자폐스펙트럼장애 아동의 음도 변동성이 일반 아동에 비해서 적고 단조로운 것으로 보고되며, 같은 모방 발화 과제를 진행할 때 말속도, 강도, 음도에서 일부 감정을 표현 상황에서 일반 아동과 유의한 차이를 확인할 수 있었다. 운율 지각 및 모방 과제에서 자폐스펙트럼장애 아동이 일반 아동에 비해서 낮은 정확도를 보였다(Diehl & Paul, 2012). 이처럼 청각장애 아동과 자폐스펙트럼장애 아동과 같은 의사소통장애 아동들은 일반 아동에 비하여 감정의 발화 및 지각에서 어려움을 겪고 있다는 것을 알 수 있다.

본 연구에서는 일반 아동의 감정 발화에서의 운율 산출 능력에 초점을 두고자 하였다. 기쁨, 화남, 슬픔의 감정 유형별로 F0, 강도, 말 속도와 같은 운율적 측면에 유의한 차이가 존재하기에(Murray & Arnott, 1993), 화자는 표현하고자 하는 메시지와 감정에 따라 말속도를 조절하거나 소리의 크기에 변화를 주어서 자신의 의도를 효과적으로 전달한다(Kwon, 2022). 성공적인 의사소통을 위해서는 상황과 맥락에 따른 화자의 의도와 감정을 이해하는 능력이 요구되며 이를 위해 정확한 운율 정보 파악이 필수적이다. 상대방의 운율 정보를 정확하게 파악하지 못하여 감정 지각의 어려움을 느낄 경우, 감정 산출의 어려움과 연결되며 사회적 의사소통 기능에 부정적인 영향을 미친다(Sasson et al., 2017). 기존에는 고기능 자폐스펙트럼 아동과 같이 의사소통 장애 집단과 정상 아동 집단에 대해 감정 발화 모방 및 산출 능력을 비교하는 연구(Park, 2019; Park & Shim, 2022), 정상 성인을 대상으로 한 감정발화 연구(Lee, 2020; Oh, 2022) 등이 이루어졌지만, 정상 발달 아동이 지닌 감정 발화 모방 및 산출의 특징에 대한 연구는 드물다. 아동의 연령에 따라서 감정을 적절하게 표현하는 능력에 차이가 난다는 것을 고려할 때(Lee, 2011), 다양한 연령대 아동의 감정발화 산출 능력을 음향학적인 측면에서의 분석이 필요하다고 볼 수 있다. 따라서 본 연구에서 일반 아동의 감정발화 산출 능력을 확인하여 의사소통장애 아동의 운율 중재에 필요한 기초 데이터를 마련하고자 하였다. 감정 발화의 표현과 인식 요소인 운율은 F0, 에너지, 지속 시간과 음질 등으로 구성되어 있으며(Murray & Arnott, 1993; Williams & Stevens, 1972), 이런 운율을 사용하는 감정 발화의 음향학적 분석을 위해서는 음도, 강도, 말속도, 전체 발화 시간의 길이 등이 측정된다(Yildirim, et al., 2004). 이에 따라, 본 연구에서는 대상자의 연령대(학령전기, 학령기)와 감정 유형(기쁨, 슬픔, 분노)에 따른 음도, 강도, 말속도에 유의한 차이가 있는지를 살펴보고자 하였다. 본 연구에서는 학령전기 아동과 학령기 아동을 대상으로 감정발화 모방과제를 사용하여 기쁨, 슬픔, 분노 감정의 발화를 산출하도록 하였으며, 대상자가 산출한 감정발화를 음향학적 차원에서 분석하였다. 이를 통해, 다양한 의사소통장애 아동을 대상으로 감정발화 산출 능력 향상을 위한 임상 콘텐츠 개발에 필요한 기초 자료를 제공하고자 하였다. 또한, 연령대의 감정발화 산출 능력을 분석하여, 일반 아동의 감정발화 산출 능력 발달에 대한 내용을 확인하고자 하였다.

2. 연구 방법

2.1. 연구 대상

본 연구에 참여한 대상자는 만 4–6세의 학령전기 아동 22명, 만 7–9세의 학령기 아동 13명으로, 총 35명의 아동을 대상으로 진행하였다. 대상자 모두 서울 및 경기 지역에 거주하며, 부모 보고상 언어 및 인지 발달에 문제가 없다고 보고된 아동이다. 대상자의 연령에 관한 기술통계 결과는 표 1과 같다.

표 1. | Table 1. 대상자들 정보 | Participants' information
집단 Mean (yrs) SD Range
Preschool-aged children
(n=22)
5.4 0.68 4.0–6.8
School-aged children
(n=13)
8.3 1.17 7.0–9.9
Download Excel Table
2.2. 연구 과제

본 연구에서는 Kim et al.(2022)의 감정발화 DB 문장을 사용하여, 따라 말하기 방식으로 대상자의 감정 발화를 수집하였다. 감정발화 DB 문장은 의미적 중립성, 한국어 문법, 어휘의 영향을 최소화하기 위해서, (1) 문장의 길이는 3–4어절의 단문으로, (2) 어절당 음절 수는 2–5음절로 제한하고, (3) Seo(2021)의 ‘2021년 국어 기초 어휘 선정 및 어휘 등급화 연구’에 수록된 1등급 어휘 중에서 일상생활에서 가장 필수적이고 4–6세 아동이 사용하는 어휘로 구성되어 있다. 또한, 해당 문장이 의미적으로 감정이 표현되지 않는 중립적인 문장으로 구성되어 있어서, 언어적 요소로 인해서 감정이 지각되는 영향을 최소화하였다. 해당 감정발화 DB에는 행복, 분노, 공포, 슬픔, 놀람, 중립으로 구성되어 있으나, 본 연구에서는 정보 통합 등의 복잡한 절차를 거치지 않은 생리적 반응으로 알려진 기본 감정인 행복, 슬픔, 분노에 해당되는 감정 발화만으로 본 연구의 과제를 구성하였다(Ekman, 1992; Ekman & Friesen, 1971; Zinck & Newen, 2008). 이러한 기준에 따라, 과제는 연습문항 2개, 본 문항 5개로 선정되었으며, 감정유형별로 동일한 문장을 사용하게 되어 대상 아동은 총 15개의 문장(감정 3가지 유형×문장 5개)을 산출하도록 하였다.

표 2. | Table 2. 과제에서 사용된 문장 리스트 | List of utterances used in the assignment
No. 발화 문장 비고(음절 수)
1 작은 방에 들어갔어 8
2 비누는 화장실에 있어 9
3 미끄럼틀을 타고 있어 9
4 그건 할아버지 물건이야 10
5 파란 버튼을 눌러봐 8
연습용 문장 문 앞에 있어 5
연습용 문장 방에 불을 켰어 6
Download Excel Table
2.3. 실험 절차

감정발화 수집은 조용한 공간에서 대상자별로 개별적으로 진행하였다. 디지털레코더(TASCAM DR-05X)를 모노로 설정한 후, 아동의 입에서 15 cm 떨어진 위치에 녹음기를 트라이포드로 고정한 상태로 음성을 녹음하였다. 연구자는 아동이 과제를 이해할 수 있도록 충분히 설명하고 감정별 발화를 효과적으로 산출할 수 있도록, Kim(2022)의 감정 DB 연구에서 개발한 문항으로 만든 감정별 음성 샘플을 아동들에게 들려주며 2개의 연습 문장을 통해 본 과제에 대해서 충분히 이해할 수 있도록 하였다. 아동은 ‘기쁨’, ‘슬픔’, ‘분노’ 감정에 해당하는 8–10음절의 5개 문장의 음성샘플을 듣고 감정을 인지한 후 과제 문장을 총 15번(5개 문장×3가지 감정) 발화하였다. 음성 녹음은 아동당 평균적으로 5–10분 정도 소요되었다.

2.4. 음성분석

본 연구에서는 Praat version 6.2.23을 이용하여 수집된 음성 데이터를 Lehiste(1970)의 기준에 따라 스펙트럴(spectral) 차원인 음도(Hz), 강도(intensity) 차원의 강도(dB), 시간(temporal)의 말속도(ms)로 측정하였다. 음도는 폐쇄음의 경우 자음의 기식음 부분을 포함하여 발화 시작부터 끝지점까지의 평균 F0를 측정하였으며, 강도 요소 역시 발화의 시작부터 끝까지의 평균 강도로 분석하였다. 본 연구에서는 모든 대상자에게 동일한 문장을 들려주고 따라 말하도록 하였기 때문에, 속도는 화자가 제시한 문장을 발화하는데 걸린 시간을 측정하였다. 이때, 발화시간은 음성 산출의 시작지점부터 마지막 음소까지 걸린 발화시간을 휴지를 포함하여 측정하였다.

2.5. 자료의 통계분석

본 연구에서는 IBM SPSS statistics version 27(IBM, Amonk, NY, USA)을 이용하여 통계분석을 실시하였다. 대상자의 연령(학령기전기, 학령기)과 감정 유형(기쁨, 슬픔, 분노)에 따른 감정발화의 음도, 강도, 말속도에 유의한 차이가 있는지를 확인하기 위해서 이원혼합분산분석(two-way mixed ANOVA)을 각각 실시하였다. 이때, 반복측정분산분석에 대한 구형성 가정을 충족하지 않을 경우, Greenhouse-Geisser로 수정된 자유도와 F값으로 해석하였다. 추가적으로 이차상호작용 효과가 있을 경우, 상호작용 대비검정(interaction contrasts)을 실시하였다.

3. 연구 결과

3.1. 집단과 감정유형에 따른 감정발화의 음도

집단과 감정 유형에 따른 F0에 대한 기술통계는 표 3에 제시하였다. 이원혼합분석 결과, 아동의 연령에 대한 주효과가 유의하지 않았다[F(1.590, 52.458)=1.488, p>0.05]. 감정 유형에 대한 주효과는 통계적으로 유의하게 나타났다[F(1.590, 52.458)=123.566, p<0.05]. 이에 대해 Bonferroni 사후검정을 실시한 결과, 기쁨과 슬픔(p<0.01), 기쁨과 분노(p<0.01), 슬픔과 분노(p<0.01)에서 모두 유의한 차이를 보였다. 즉, 아동의 감정 발화에서의 F0는 분노, 기쁨, 슬픔 순서로 높았다(그림 1). 연령대와 감정유형에 대한 이차 상호작용 효과는 유의하지 않았다[F(1.590, 52.458)= 1.488, p>0.05].

표 3. | Table 3. 전학령기 집단과 학령기 집단의 감정별(기쁨, 슬픔, 분노) F0 평균값 | Mean F0 (Hz) by emotion type (happy, sad, angry) of preschool-aged children and school-aged children
Emotion type Preschool-aged children (n=22) School-aged children (n=13)
Happiness 331.41 (48.56) 332.86 (45.07)
Sadness 268.54 (31.37) 241.12 (20)
Anger 396.71 (75.79) 379.19 (39.18)

Values are presented as mead (SD).

Download Excel Table
pss-16-3-49-g1
그림 1. | Figure 1. 전학령기 아동 및 학령기 아동의 평균 F0 | Mean fundamental frequency for preschool-aged children and school-aged children
Download Original Figure
3.2. 집단과 감정유형에 따른 감정발화의 강도

집단과 감정 유형에 따른 강도에 대한 기술통계는 표 4에 제시하였다. 이원혼합분석 결과, 아동의 연령에 대한 주효과가 유의하여[F(1, 66)=13.356, p<0.01], 학령전기 집단에 비해 학령기 집단의 강도가 유의하게 크게 나타났다. 감정 유형에 대한 주효과도 통계적으로 유의하게 나타났다[F(1.197, 39.497)=12.151, p<0.01]. 이에 대해 Bonferroni 사후검정을 실시한 결과, 기쁨과 슬픔(p<0.05), 슬픔과 분노(p<0.001)에서 유의한 차이를 보였다. 즉, 대상 아동은 슬픔 보다는 기쁨 감정을 표현할 때 음성의 강도가 유의하게 컸으며, 슬픔 보다는 분노 감정을 표현할 때 음성의 강도가 유의하게 컸다(그림 2). 연령대와 감정유형에 대한 이차 상호작용 효과는 유의하지 않았다 [F(1.197, 39.497)=0.451, p>0.05].

표 4. | Table 4. 전학령기 집단과 학령기 집단의 감정별(기쁨, 슬픔, 분노) 강도 평균값 | Mean intensity (dB) by emotion type (happy, sad, angry) of preschool-aged children and school-aged children
Emotion type Preschool-aged children (n=22) School-aged children (n=13)
Happiness 55.55 (32.15) 64.23 (5.51)
Sadness 40.49 (9.48) 52.93 (8.28)
Anger 57.36 (9.85) 73.45 (7.48)

Values are presented as mead (SD).

Download Excel Table
pss-16-3-49-g2
그림 2. | Figure 2. 전학령기 아동 및 학령기 아동의 평균 강도 | Mean intensity for preschool-aged children and school-aged children
Download Original Figure
3.3. 집단과 감정유형에 따른 감정발화의 말속도

집단과 감정 유형에 따른 말 속도에 대한 기술통계는 표 5에 제시하였다. 이원혼합분석 결과, 아동의 연령에 대한 주효과가 유의하였다[F(1, 66)=19.667, p<0.05]. 즉, 학령기 아동의 발화 시간이 학령전기 아동에 비해 길게 나타나서, 감정발화 산출시 학령기 아동의 발화속도가 학령전기 아동의 발화속도보다 유의하게 느린 것으로 나타났다. 감정 유형에 대한 주효과도 통계적으로 유의하게 나타났다[F(1.640, 54.124)=41.544, p<0.05]. 그 결과, 감정별 발화 속도는 기쁨과 슬픔(p<0.001), 슬픔과 분노(p<0.001)에서 유의한 차이를 보였다(그림 3). 즉, 대상 아동은 슬픈 감정에 비해 기쁜 감정에서의 말속도가 유의하게 빨랐으며, 분노 감정에 비해 슬픈 감정에서의 말속도는 유의하게 느렸다. 집단과 감정 유형에 따른 이차 상호작용 효과가 유의하였다[F(1.640,54.124)=3.790, p<0.05]. 이에 대한 사후검정으로 SPSS Syntax LMATRIX와 MMATRIX를 사용한 상호작용 대비검정(interaction contrasts)을 실시하였다. 그 결과, 슬픔에서의 집단 간의 말속도 차이가 기쁨과 분노에서의 집단 간 말속도의 차이에 비해서 유의하게 컸다. 이는 학령전기 아동에 비해 학령기 아동이 슬픈 감정발화를 산출할 때, 천천히 발화를 산출하여 나타난 결과로 해석된다.

표 5. | Table 5. 전학령기 집단과 학령기 집단의 감정별(기쁨, 슬픔, 분노) 말속도 평균값 | Speaking rate (millisecond) by emotion type (happy, sad, angry) of preschool-aged children and school-aged children
Emotion type Preschool-aged children (n=22) School-aged children (n=13)
Happiness 1.99 (.20) 2.83 (0.86)
Sadness 2.24 (.24) 3.38 (1.16)
Anger 1.87 (.17) 2.76 (0.98)

Values are presented as mead (SD).

Download Excel Table
pss-16-3-49-g3
그림 3. | Figure 3. 전학령기 아동 및 학령기 아동의 평균 말속도 | Speaking rate for preschool-aged children and school-aged children
Download Original Figure

4. 논의 및 결론

본 연구는 아동의 감정발화 산출 능력이 아동의 연령대에 따라 차이가 있는지를 살펴보기 위해서, 학령전기 아동과 학령기 아동을 대상으로 기쁨, 슬픔, 분노의 감정발화를 듣고 모방하여 산출하도록 하였으며, 대상 아동이 산출한 감정발화에 대한 음향학적 분석을 실시하였다. 연구 결과 및 논의는 다음과 같다.

첫째, 집단과 감정유형에 따른 감정발화의 F0값을 살펴본 결과, 아동의 연령에 따른 F0에는 유의한 차이가 없었다. 이러한 결과는 학령전기 아동은 기본적인 감정인 기쁨, 슬픔, 분노 감정을 표현하는데 있어, 학령기 아동만큼 음도를 조절할 수 있다는 것을 의미한다. Kent(1976)에서는 아동이 3세부터 12세까지 음성의 F0가 점진적으로 달라지지만 이것이 연령과 관련하여 통계적으로 유의미하진 않다고 하여 본 연구결과와 일치하였다. 그리고 본 연구에서는 감정유형에 따른 F0값에서 유의한 차이가 나타났다. 세부적으로 살펴보면, 분노와 기쁨, 분노와 슬픔, 기쁨과 슬픔에서 모두 F0값에 유의한 차이가 있었으며, 분노, 기쁨, 슬픔 순서로 F0값이 높게 나타났다. 이러한 결과를 통해서 학령전기 아동과 학령기 아동 모두 분노, 기쁨, 슬픔을 표현하는 감정을 표현하기 위해서 본인의 발화에서 음도를 조절할 수 있다는 것을 알 수 있다. 특히, 슬픔은 다른 감정들보다 낮은 음도에서 발화되고 있으며 전학령기의 아동들도 발화 시 감정의 변화에 따라 음도에 차이를 주고 있다는 사실을 확인할 수 있다. 음도가 감정의 생성과 표현에서 중요한 역할을 하는 것은 여러 연구들로 밝혀져 왔기에(Aimer & Golberson, 2014; Murray & Arnott, 1993) 선행연구와 일치하는 결과를 보인다.

둘째, 아동의 연령에 따른 감정 발화에서의 강도에 유의한 차이가 있었다. 즉, 학령기 아동의 감정 발화 강도가 학령전기 아동에 비해서 유의하게 큰 것으로 나타났다. 이처럼 감정 발화에서 강도를 조절하는 능력이 연령대에 따라 유의한 차이가 있게 나타난 것은 학령전기와 학령기 아동의 감정 지각에 차이가 있어서 나타났을 가능성이 있다. 예를 들면, Friend & Bryant(2000)의 연구에서는 학령전기 아동의 감정 지각 시 학령기 아동과 활용하는 요소가 다른 것으로 나타났다. 선행연구에서는 문장의 내용과 억양을 일치, 불일치시킨 조건에서 4, 7, 10세의 아동들에게 문장을 들려주고 정서를 판단하라고 하였는데, 내용과 정서의 불일치에서 연령에 따라서 아동들의 정서 판단 근거가 다른 것으로 확인되었다. 4, 7세 아동의 경우에는 내용에 기반하여 정서를 판단하였고, 10세의 아동은 말의 운율을 근거로 정서를 판단하였다. Creissen & Blanc(2017)의 연구에서는 아동이 청각 자극만 제시되는 상황에서 주인공의 감정을 추론하는 능력이 나이를 들면서 향상된다는 것을 확인하였다. 이런 연구들과 본 연구를 비교하였을 때, 말의 운율 요소 중 하나인 강도는 감정 추론의 근거로 쓰이기에 학령기 아동들이 더 효과적으로 사용하고 있다고 볼 수 있다. 그리고 본 연구에서는 감정유형에 따른 강도에도 유의한 차이가 있었다. 즉, 아동은 슬픈 감정보다는 기쁜 감정을 표현할 때 음성의 강도를 크게 조절하였으며, 슬픈 감정보다는 분노 감정을 표현할 때 음성의 강도를 크게 조절하였다. 이는 선행연구인 Oh(2022)의 연구에서도 일반 성인이 분노를 표현할 때 강도가 제일 컸으며 슬픔에서는 강도가 약한 것과 일치하였다. 이 결과를 통해 아동들이 감정을 표현할 때 강도에서의 감정 특성을 이해하고 표현하고 있다고 해석할 수 있다.

셋째, 아동의 연령에 따른 감정 표현시 말 속도에 유의한 차이가 있어서, 학령기 아동의 감정 발화가 학령전기 아동에 비해서 유의하게 길었다. 이는 학령기 아동이 학령전기 아동에 비해서 감정에 따라 다양한 말 속도를 조절할 수 있다는 것을 의미한다. 정상 발달의 아동일 경우 1분당 산출한 단어의 수(WPM)로 속도를 비교했을 때, 발화 속도는 연령에 따라서 차이가 있다는 연구결과가 있다(Ahn et al., 2002). 아동의 말속도 조절 능력은 연령이 증가함에 따라 점차로 향상되다가 17세가 되어서는 성인과 유사해진다(Martins et al., 2007). 이러한 선행연구 결과를 토대로 볼 때, 본 연구에서 실시한 감정발화 산출 과제에서 학령전기 아동의 말속도 조절 능력이 학령기 아동에 비해서는 미숙한 것으로 볼 수 있다. 그리고 본 연구에서는 감정유형에 따른 말 속도에서 유의한 차이가 나타났는데, 감정별로 기쁨과 슬픔, 분노와 슬픔에서 말 속도에 유의한 차이가 있었다. 즉, 아동은 기쁨과 분노 감정에 비해 슬픈 감정을 표현할 때, 말 속도를 느리게 조절하였다. 이러한 결과는 감정 유형에 따라서 화자의 말속도가 달라진다는 선행연구(Kim & Jeong, 2020; Oh, 2022) 결과와 일치한다. Kim & Jeong(2020)의 연구에서는 일반 성인을 대상으로 감정 유도 발화 과제를 실시하였을 때, 감정 유형 간에 말 속도에서 유의한 차이가 있었다. 감정 유형별로 살펴보았을 때, 분노와 기쁨, 분노와 슬픔, 기쁨과 슬픔 감정 간에 말 속도에 유의한 차이가 있었으며, 감정 발화 속도는 분노, 기쁨, 슬픔 순서로 유의하게 빨랐다. 이 연구에서는 심리학의 각성을 기준으로 연구 결과를 해석하였는데, 말 속도에서 유의한 차이가 나는 분노와 기쁨은 각성 정도에서 차이를 보이는 감정들이다. 심리학에서의 각성이란 감정으로 인해 신체와 정신이 흥분되었는가를 보는 기준 중 하나로(Kim & Ahn, 2011), 분노는 각성 정도가 높은 감정, 기쁨은 각성 정도가 낮은 감정으로 분류되며 둘의 말속도 차이는 각성 정도의 차이에서 생겨났다고 볼 수 있다. 이 결과를 토대로 보았을 때 아동들 역시 감정에 따른 신체‧정신적 흥분을 성인과 비슷하게 느끼고 있으며 이를 통해 말 속도를 조절하고 있다고 볼 수 있다.

본 연구에서 주목할 점은 집단과 감정 유형에 따른 이차상호작용 효과가 말 속도에서 유의하게 나타났다는 것이다. 이차상호작용 효과는 학령기 아동이 슬픔 감정의 발화를 산출할 때 학령전기 아동에 비해서 유의하게 말 속도를 느리게 산출하여 나난 결과에 기인한다. 이러한 결과를 통해, 학령전기 아동과 학령기 아동이 슬픈 감정을 표현할 때 말 속도를 조절하는 양상이 다르다는 것을 알 수 있다. 말속도의 조절은 모든 연령대에서 나타나는 특징으로 알려져 있으며(Harnsberger et al., 2008), 특히 성인과 아동의 말속도 차이는 학습된 어휘와 유창성의 차이라고 해석하고 있다. 슬픔을 표현할 때 발화 속도가 느려지는 것은 성인에게서도 나타나는 현상인 것을 고려할 때(Palo et al., 2017), 학령기 아동들의 감정발화가 학령 전기 아동들보다 성숙된 양상을 보이고 있음과 함께 발달이 진행될수록 슬픔을 표현할 때의 발화 속도가 점차 느려지고 있다고 해석할 수 있다.

결론적으로 감정표현을 위한 발화에서 학령전기 아동과 학령기 아동 집단에서 강도와 말 속도에 유의한 차이가 있었고, 감정 간에도 F0, 강도, 말 속도에 따른 차이가 있음을 확인하였다. 본 연구는 학령전기, 학령기 아동을 대상으로 감정 유형별로 목소리의 변동성을 연구하였다는 점에서 의의가 있으나 다음과 같은 제한점을 갖는다. 첫째, 집단 간 차이를 확인할 때 대상 집단을 학령전기, 학령기로 구분해 진행했기에 아동의 연령에 관한 감정발화의 발달 정도를 구체적으로 보기에는 어렵다는 문제가 있다. 둘째, 후속 연구에서는 자발화를 통한 감정 발화에서의 목소리 변동성을 측정할 필요성이 있다. 후속 연구를 위한 제언점은 다음과 같다. 첫째, 본 연구에서는 학령전기 아동과 학령기 아동의 성별 차이에 유의미한 차이가 없을 것이라는 선행 연구를 근거로 성별을 구분하지 않았다. 하지만, 성인 남성과 여성의 F0 측정 시 남성의 평균 F0가 여성보다 낮다는 다른 선행 연구를 고려할 때(Brown et al., 1993; Morris et al., 1995; Sapienza, 1997), 성별을 포함한 대상 집단으로 나누어 연구를 진행해야 해야 할 것으로 보인다. 둘째, 연령과 감정 유형에 따른 아동의 목소리 변동성을 비교하는 음향학적 연구에 이에 대한 성인의 청지각적 평가가 더해진다면, 아동의 목소리를 보다 종합적으로 연구할 수 있는 계기가 될 것으로 기대된다. 셋째, 본 연구의 대상은 언어적, 발달적 문제가 없는 정상 아동이었기에 추후에 자폐 아동과 같은 장애 아동을 대상으로 감정에 따른 아동의 목소리 변동성을 비교하는 연구를 진행하거나 대상자를 성인으로 바꿔 RHD(right hemisphere damage) 환자와 같은 운율을 이용한 감정 이해 능력이 어려운 집단을 대상으로 진행하여 더 광범위한 음성데이터의 기준을 세울 수 있을 것이라고 제안한다.

References/참고문헌

1.

Aguert, M., Laval, V., Le Bigot, L., & Bernicot, J. (2010). Understanding expressive speech acts: The role of prosody and situational context in French-speaking 5- to 9-year-olds. Journal of Speech, Language, and Hearing Research, 53(6), 1629-1641.

2.

Ahn, J. B., Shin, M. S., & Kwon, D. H. (2002). The study of speech rate in normal-speaking adults and children. Korean Society ofSpeech Sciences, 9(4), 93-103.

3.

Amir, N., & Globerson, E. (2014). On the Role of Pitch in Perception of Emotional Speech. In Speech Prosody (pp. 154-158).

4.

Brown, W. S. Jr., Morris, R. J., Hicks, D. M., & Howell, E. (1993). Phonational profiles of female professional singers and nonsingers. Journal of Voice, 7(3), 219-226.

5.

Burgoon, J. K., Birk, T., & Pfau, M. (1990). Nonverbal behaviors, persuasion, and credibility. Human Communication Research, 17(1), 140–169.

6.

Carstensen, L. L., Isaacowitz, D. M., & Charles, S. T. (1999). Taking time seriously: A theory of socioemotional selectivity. American Psychologist, 54(3), 165-181.

7.

Choi, Y., & Mazuka, R. (2003). Young children’s use of prosody in sentence parsing. Journal of Psycholinguistic Research, 32(2), 197-217.

8.

Coutinho, E., & Dibben, N. (2013). Psychoacoustic cues to emotion in speech prosody and music. Cognition and Emotion, 27(4), 658-684.

9.

Creissen, S., & Blanc, N. (2017). Quelle représentation des différentes facettes de la dimension émotionnelle d’une histoire entre l’âge de 6 et 10 ans? Apports d’une étude multimédia. Psychologie Française, 62(3), 263-277.

10.

Diehl, J. J., & Paul, R. (2012). Acoustic differences in the imitation of prosodic patterns in children with autism spectrum disorders. Research in autism spectrum disorders, 6(1), 123-134.

11.

Ekman, P. (1992). An argument for basic emotions. Cognition and Emotion, 6(3-4), 169-200.

12.

Ekman, P., & Friesen, W. V. (1971). Constants across cultures in the face and emotion. Journal of Personality and Social Psychology, 17(2), 124-129.

13.

Friend, M., & Bryant, J. B. (2000). A developmental lexical bias in the interpretation of discrepant messages. Merrill-Palmer Quarterly (Wayne State University Press), 46(2), 342-369.

14.

Han, E. G., & Yoo, A. J. (1998). Parental emotion regulation and children's understanding of emotional display rules. Journal of the Korean Home Economics Association, 36(11), 61-72.

15.

Harnsberger, J. D., Shrivastav, R., Brown, W. S. Jr., Rothman, H., & Hollien, H. (2008). Speaking rate and fundamental frequency as speech cues to perceived age. Journal of Voice, 22(1), 58-69.

16.

Kang, E. J., Hwang, M. A., & Jeong, M. R. (2014). Emotional recognizing ability from the prosodies of children with high-functioning autism. Journal of Emotional and Behavioral Disorders, 30(3), 79-94.

17.

Kent, R. D. (1976). Anatomical and neuromuscular maturation of the speech mechanism: Evidence from acoustic studies. Journal of Speech and Hearing Research, 19(3), 421-447.

18.

Kim, H. R. (2000). Korean children's understanding of the distinction between real and apparent emotion. Korean Journal of Psychology, 13(1), 1-19.

19.

Kim, J., & Jeong, J. (2020). An analysis of audio-specific characteristics of different emotional states in order utterance. East Asian Cultural Studies, 81, 95-118.

20.

Kim, J. M. (2022). A study of phonetical features of Korean emotional speech (Doctoral dissertation). Hanyang University, Seoul, Korea.

21.

Kim, M. S. (2023). Situation symbol understanding and expression ability of preschool age children with autism spectrum disorder and typically developing children (Master’s thesis). Inha University, Incheon, Korea.

22.

Kim, M. Y., & Yoon, M. S. (2018). Recognition of voice emotion in school aged children with cochlear implants. Communication Sciences & Disorders, 23(4), 1102-1110.

23.

Kim, T., & Ahn, D. (2011). Construction of an effective map of Korean vocabulary and analysis of individual deviations for proposing a process of interpretative convergence. Korean Journal of Journalism & Communication Studies, 55(6), 436-465.

24.

Kim, Y., Song, H., Jeon, Y., Oh, Y., & Lee, Y. (2022). Development and validation of a Korean affective voice database. Phonetics and Speech Sciences, 14(3), 77-86.

25.

Knapp, M. L. (1980). Essentials of nonverbal communication. New York, NY: Holt, Rinehart and Winston.

26.

Kwon, S. (2022). A study of paralinguistic construction elements and vocal characteristics using speech sound. Cogito, 97, 7-33.

27.

Lee, S. (2011). A study on children's emotion according to emotional display rules and emotional awareness. Korean Journal of Childcare Education, 11(4), 121-142.

28.

Lehiste, I. (1970). Suprasegmentals (Cambridge, Mass.). TheM. IT.

29.

Lin, Y. S., Wu, C. M., Limb, C. J., Lu, H. P., Feng, I. J., Peng, S. C., Deroche, M. L. D., ... Chatterjee, M. (2022). Voice emotion recognition by Mandarin-speaking pediatric cochlear implant users in Taiwan. Laryngoscope Investigative Otolaryngology, 7(1), 250-258.

30.

Martins, I. P., Vieira, R., Loureiro, C., & Santos, M. E. (2007). Speech rate and fluency in children and adolescents. Child Neuropsychology, 13(4), 319-332.

31.

Morris, R. J., Brown, W. S. Jr., Hicks, D. M., & Howell, E. (1995). Phonational profiles of male trained singers and nonsingers. Journal of Voice, 9(2), 142-148.

32.

Morton, J. B., & Trehub, S. E. (2001). Children’s understanding of emotion in speech. Child Development, 72(3), 834-843.

33.

Most, T., & Michaelis, H. (2012). Auditory, visual, and auditory-visual perceptions of emotions by young children with hearing loss versus children with normal hearing. Journal of speech, language, and hearing research : JSLHR, 55(4), 1148–1162.

34.

Murray, I. R., & Arnott, J. L. (1993). Toward the simulation of emotion in synthetic speech: A review of the literature on human vocal emotion. The Journal of the Acoustical Society of America, 93(2), 1097-1108.

35.

Oh, S. (2022). The phonetic features of emotional speech acts. Korean Language and Culture, 78, 133-155.

36.

Palo, H. K., Mohanty, M. N., & Chandra, M. (2017, March). Emotion analysis from speech of different age groups. Proceedings of the Second International Conference on Research in Intelligent and Computing in Engineering (pp. 283-287). Gopeshwar, India.

37.

Park, C. O. (2010). The development of emotion reading ability in prosody of language (Master’s thesis). Chungbuk National University, Cheongju, Korea.

38.

Park, J., & Shim, H. (2022). A comparison of imitation abilities of emotional utterances in children with high-functioning autism spectrum disorders and typical development. Special Education, 21(3), 57-82.

39.

Park, J. H. (2019). Emotional utterances in children with high functioning autism spectrum disorders: Auditory-perceptual, acoustic evaluation and visual analytics (Master’s thesis). Ewha Womans University, Seoul, Korea.

40.

Planalp, S. (1996). Varieties of cues to emotion in naturally occurring situations. Cognition and Emotion, 10(2), 137-154.

41.

Sapienza, C. M. (1997). Aerodynamic and acoustic characteristics of the adult African American voice. Journal of Voice, 11(4), 410-416.

42.

Sasson, N. J., Faso, D. J., Nugent, J., Lovell, S., Kennedy, D. P., & Grossman, R. B. (2017). Neurotypical peers are less willing to interact with those with autism based on thin slice judgments. Scientific Reports, 7(1), 40700.

43.

Scharfstein, L.A., Beidel, D.C., Sims, V.K. et al. Social Skills Deficits and Vocal Characteristics of Children with Social Phobia or Asperger’s Disorder: A Comparative Study. J Abnorm Child Psychol 39, 865–875 (2011).

44.

Seo, S. (2021). 2021 Version of basic research for lexical grading and selection of basic vocabulary in Korean. Seoul, Korea: National Institute of Korean Language.

45.

Trainor, L. J., Austin, C. M., & Desjardins, R. N. (2000). Is infant-directed speech prosody a result of the vocal expression of emotion?. Psychological science, 11(3), 188-195.

46.

Williams, C. E., & Stevens, K. N. (1972). Emotions and speech: Some acoustical correlates. The Journal of the Acoustical Society of America, 52(4B), 1238-1250.

47.

Yildirim, S., Bulut, M., Lee, C. M., Kazemzadeh, A., Deng, Z., Busso, C., Lee, S., ... Narayanan, S. S. (2004, October). Analysis of acoustic correlates in emotional speech. Proceedings of the Interspeech 2004. Jeju, Korea.

48.

Zinck, A., & Newen, A. (2008). Classifying emotion: A developmental account. Synthese, 161(1), 1-25.

49.

김미영, 윤미선. (2018). 인공와우이식 아동의 음성 정서 인식. Communication Sciences & Disorders, 23(4), 1102-1110.

50.

김민서. (2023) 학령전기 자폐범주성장애 아동과 일반아동의 상황상징 감정어 이해 및 표현능력. 인하대학교 석사학위논문.

51.

김예지, 송혜선, 전예솔, 오유림, 이영미. (2022). 한국형 감정 음성 데이터베이스 구축을 위한 타당도 연구. 말소리와 음성과학, 14(3), 77-86.

52.

김진만. (2022) 한국어 감정 발화의 음성학적 특징 연구. 한양대학교 박사학위논문.

53.

김진만, 정종수. (2020). 명령 발화의 감정별 음성 특징 연구. 동아시아문화연구, 81, 95-118.

54.

김태용, 안도현. (2011). 한국어 감정표현 어휘들의 극성-각성 좌표화를 통한 해독격차 분석 및 수렴화 프로세스 제안. 한국언론학보, 55(6), 436-465.

55.

김혜리. (2000). 어린 아동의 실제정서와 표면정서의 이해: 아동의 마음이론. 한국심리학회지: 발달, 13(1), 1-19.

56.

박지현. (2019). 고기능 자폐스펙트럼장애 아동과 일반 아동 감정 발화의 비교: 청지각적, 음향학적 평가 및 시각적 분석. 이화여자대학교 석사학위논문.

57.

박지현, 심현섭. (2022). 고기능 자폐스펙트럼장애 아동과 일반 아동의 감정 발화 모방 능력 비교 : 청지각적 평가 및 음향학적 분석. 특수교육, 21(3), 57-82.

58.

오세진. (2022). 감정 발화의 음성적 특징 연구. 한국언어문화. 78, 133-155.

59.

이승은. (2011). 유아기 정서표현규칙과 정서인식의 발달에 관한 연구. 한국보육학회지, 11(4), 121-142.

60.

한유진, 유안진. (1998). 부모의 정서 규제와 아동의 정서 표출 규칙 이해. Human Ecology Research, 36(11), 61-72.