PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 2 Articles
Metrics (View:2,385)
1. 서론
인간은 음성으로 감정을 정확하게 표현하고 대화 상대방의 감정 음성(affective voice)을 정확하게 이해하는 능력을 통해, 사회적 상호작용을 촉진하고 친밀한 대인 관계를 형성한다(Carstensen et al.,1999; Kang et al., 2014). 인간은 상대방의 감정을 이해하거나 표현할 때 언어적 단서(linguistic cues)와 비언어적 단서(nonlinguistic cues) 정보를 활용한다. 언어적 단서란 화자의 메시지가 글자로 기록되어 그 의미가 정확하게 전달될 수 있는 단서이며, 비언어적 단서는 글자로 기록될 수 없는 표정, 제스처, 음도, 운율, 억양 등을 말한다(Planalp, 1996). 이 중에서, 운율(prosody)은 음도, 강도, 말속도 등을 통해 파악할 수 있는 요소로, 상대방의 감정을 인식하는 데 큰 역할을 한다고 알려져 있다(Coutinho & Dibben, 2013; Planalp, 1996; Trainor et al., 2000). 즉, 청자(listener)가 화자(speaker)의 감정을 이해한다는 것은 단어와 문장 등의 언어적 단서와 결합된 준언어적 요소인 운율을 파악하는 것을 의미한다. 그런데 명시적인 언어적 단서가 없어도 비언어적 단서인 운율만으로도 감정이 전달될 수 있다(Trainor et al., 2000). 특히, 표정, 제스처와 같은 시각적인 정보가 없는 상황에서는 화자 발화의 언어적 의미와 운율정보에 초점을 맞추어야 하므로, 화자의 발화에서 운율을 정확하게 파악하는 것은 의사소통에 중요하다.
발화의 운율적 특성을 감지하고 이를 바탕으로 감정을 인식하는 능력은 영유아기 때부터 발달된다(Trainor et al., 2000). 학령전기 아동은 상황 맥락과 내용을 토대로 감정을 판단하지만, 학령기 아동은 상황 맥락, 문장 의미, 운율정보를 통합적으로 파악하여 화자의 감정을 판단한다(Kang et al., 2014; Park, 2010). 의사소통에서 운율의 중요성이 부각되면서, 언어병리학, 특수교육, 의학 등의 분야에서 다양한 의사소통장애군을 대상으로 운율 인식 연구가 진행되었다. 그 결과, 자폐범주성장애군(Filipe et al., 2014; Oerlemans et al., 2014), 뇌혈관 사고나 교통사고로 우뇌손상을 경험하는 환자군(Sim, 2007)에서 운율 단서 이해 및 표현에 어려움을 겪는 것을 확인하였다. 난청 아동의 운율 인식 및 표현에 관한 선행연구에서도 보청기나 인공와우 착용 후에도 문법적인 운율과 감정적 운율 모두에서 인식과 표현에 어려움을 보인다고 보고하였다(Choi & Lee, 2009; Peng et al., 2008). 국내에서도 운율인식에 관한 연구가 진행되었으나(Lee & Kim, 2013; Shin et al., 2015; Sim, 2007), 다양한 연령대의 일반 집단이나 의사소통장애 집단을 대상으로 한 운율 관련 연구가 충분히 이루어지지 않고 있다. 일부 연구에서 특정 장애군의 운율 특성을 다루고 있을 뿐 평가나 중재 연구는 지극히 드문 편이다(Park et al., 2016). 운율 인식, 운율 인식 능력, 운율 인식 중재 연구를 위해서는 다양한 감정이 잘 표현된 음성 데이터베이스(database, DB) 구축이 필요하다. 또한, 운율 인식 과제의 형태나 제시 감정 유형에 따라 연구자 간 다른 결과를 보고한다는 점(Kim et al., 2013)을 고려하였을 때, 운율 관련 능력을 정확하게 평가할 수 있는 신뢰롭고 타당한 한국형 감정 음성 데이터베이스(Korean Affective Voice Database, KAV DB)가 개발될 필요가 있다.
국내에서는 감정 음성 DB 구축에 관한 연구를 찾기 어려우나, 국외에서는 관련 연구와 DB 구축이 진행된 바 있다. 국외 데이터 중에서, ‘The Montreal Affective Voices(MAV)’는 인지신경과학 연구에 많이 사용되는 Ekman faces(Ekman & Friesen, 1978)의 분노, 역겨움, 공포, 행복, 슬픔, 놀람, 중립의 감정을 불어 모음인 ah(/ɑ/)로 녹음하여 제작한 음성 DB이다(Belin et al., 2008). 그리고 국외에서는 의미적으로 중립적인 문장에 감정을 담아 녹음하거나(Imaizumi et al., 1997; Kotz et al., 2003; Laukka, 2005), 의미가 없는 비단어(Banse & Scherer, 1996; Grandjean et al., 2005)를 이용하여 감정 음성 DB가 개발되기도 하였다. 사회, 문화, 언어에 따라 감정을 표현하고 인식하는 것에는 문화 간에 차이가 있으므로, 한국인을 대상으로 국외 감정 음성 DB를 사용하여 감정 및 운율 인식 연구를 진행하기에는 무리가 있다(Laukka & Elfenbein, 2021; Laukka et al., 2016). 문화에 따른 감정 인식 차이를 살펴본 Kitayama & Ishii(2002)는 영국인은 음성에서 발화의 감정과 관련된 운율정보보다 내용에 집중하는 반면에, 일본인은 발화의 내용보다는 운율정보에 더 집중한다는 것을 확인하였다. Tanaka et al.(2010)은 네덜란드인보다 일본인이 운율정보에 더욱 민감하다고 하였다.
이처럼 문화와 언어에 따라 감정 인식에 대한 시각적 정보와 청각적 정보의 처리에 차이가 나타난다는 것을 고려할 때(Ekman et al., 1987; Elfenbein & Ambady, 2002; Scherer et al., 2001), 한국인의 감정, 문화가 잘 반영된 국내 감정 음성 DB 개발이 필요하다고 볼 수 있다. 이에 본 연구에서는 한국인을 대상으로 한 감정 음성 DB를 개발하고, 해당 DB의 타당도를 신뢰도, 민감도(sensitivity) 및 특이도(specificity) 차원에서 검증하고자 하였다. 이를 통해, 음성 속 감정 인식 능력 향상을 위한 임상 콘텐츠의 기초자료를 제공하고, 다양한 의사소통장애군을 대상으로 한 음성 속 감정 인식 능력 연구에 활용할 수 있는 자료를 제공하고자 한다.
2. 연구방법
본 연구에서 사용된 발화 문장은 의미적인 중립성, 한국어 문법, 어휘의 영향을 최소화하기 위해서 다음과 같은 기준에 따라 문장을 제작하였다. 발화 문장은 (1) 3–4어절의 단문으로, (2) 어절당 음절 수는 2–5음절로 제한하였다. 문장에 사용된 어휘는 Seo(2021)의 ‘2021년 국어 기초 어휘 선정 및 어휘 등급화 연구’에 수록된 1등급 어휘 목록의 어휘만으로 선정하였다. Seo (2021)는 일상 언어생활 속에 필요한 기초 어휘 중, 가장 필수적이고 많이 쓰이는 어휘를 1등급으로 간주하였으며, 4–6세의 아동이 사용하는 어휘를 1등급 어휘로 제안하였다. 이러한 기준에 따라서 총 40개의 문장을 제작하였으며, 해당 문장이 의미적으로 감정이 표현되지 않은 중립적인 문장인지 알아보기 위해서 언어병리학 석·박사과정생 6인과 언어병리학 교수 1인을 대상으로 5점 리커트 척도(1점: 의미적으로 매우 부정적이다, 2점: 의미적으로 부정적이다, 3점: 의미적으로 중립적이다, 4점: 의미적으로 긍정적이다, 5점: 의미적으로 매우 긍정적이다)로 타당도 검정을 실시하였다. 이때, ‘의미적으로 중립적이다’를 나타내는 3점을 기준으로 편차값을 구하여 의미적으로 중립에 가깝다고 평가된 상위 문장 10개를 최종적으로 선정하였으며, 선정된 문장은 표 1과 같다.
| No. | Sentence |
|---|---|
| 1 | 작은 방에 들어갔어 |
| 2 | 비누는 화장실에 있어 |
| 3 | 문 앞에 있어 |
| 4 | 미끄럼틀을 타고 있어 |
| 5 | 그건 할아버지 물건이야 |
| 6 | 방에 불을 켰어 |
| 7 | 연필은 왼쪽 서랍에 있어 |
| 8 | 파란 버튼을 눌러봐 |
| 9 | 밭에서 고추를 땄어 |
| 10 | 컴퓨터는 저쪽 방에 있어 |
연구자는 배우(남 1명, 여 1명)에게 10개의 문장을 6가지 감정(행복, 분노, 공포, 슬픔, 놀람, 중립)으로 표현되도록 발화해달라고 요청하였다. 배우는 모두 뮤지컬 동호회 소속으로 연기 경력은 평균 5년이었으며, 연령은 각각 27세와 29세로 평균 28세였다. 녹음은 소음이 통제된 방음 부스에서 디지털 레코더(Roland EDIROL R 05HR)와 핀 마이크(ECM CS10)를 이용하였다. 이때, 마이크는 배우의 입과 20 cm의 거리를 두어 녹음하였다. 녹음 과정에서 연구자가 실시간으로 배우의 발화를 모니터링하면서 배우가 목표 감정을 제대로 표현하지 못하였다고 판단되었을 경우, 추가적으로 2–3회 다시 발화해달라고 요청하였다. 이러한 녹음 작업을 통해, 총 246개의 음성 파일이 생성되었다. 감정별 음성 샘플은 그림 1과 같다.
녹음된 음성이 목표로 한 6가지 감정을 잘 표현하였는지를 언어병리학 석사과정생 4명이 평가하여, 각 음성에 표현된 감정에 대해 모두 일치된 견해를 보이는 음성을 선정하였다. 그 결과, 행복 음성 18개, 분노 음성 20개, 공포 음성 18개, 슬픔 음성 18개, 놀람 음성 19개, 중립 음성 20개, 총 113개의 음성이 타당도 평가를 위한 음성으로 선정되었으며, 감정별 음성 파일 개수는 표 2와 같다.
| Affective states | Actor’s voice | Actress’s voice | Total |
|---|---|---|---|
| Happiness | 9 | 9 | 18 |
| Anger | 10 | 10 | 20 |
| Fear | 9 | 9 | 18 |
| Sadness | 10 | 8 | 18 |
| Surprise | 9 | 10 | 19 |
| Neutral | 10 | 10 | 20 |
타당도 평가에 참여한 대상자는 한국어를 사용하는 20대 성인 31명이었으며, 대상자의 평균 연령과 성비는 표 3과 같다. 대상자 선정 기준은 (1) 정상 청력이며, (2) 한국어가 모국어이고, (3) 최종 학력이 고등학교 졸업 이상으로, (4) 과제를 수행하는 데 필요한 시각에 문제가 없으며, (5) 언어 및 인지적 병력이 보고되지 않았으며, (6) 정신․신경학적 병력이 없는 자를 대상으로 하였다.
| Participants | ||
|---|---|---|
| Age (years) | Mean | 26.9 |
| SD | 1.6 | |
| Ranges | 24–29 | |
| Gender | Male | 15 |
| Female | 16 | |
녹음자료는 Adobe Audition(ver. 22.4)을 이용하여 편집하였다. 순서효과와 학습효과를 배제하기 위해 배우의 성별과 감정 유형을 고려하여, 청자에게 들려준 음성 파일 113개를 무선화(randomization)하여 3개의 블록에 각각 38개, 38개, 37개씩 배치하였다(A블록: 38개, B블록: 38개, C블록: 37개). 그리고 해당 블록의 제시순서를 역균형화(counterbalancing)하여, A-B-C, B-C-A, C-A-B 블록으로 구성된 총 3개의 음성 파일 세트를 구성하였다. 이때, 신뢰도 평가를 위한 음성 파일을 각 블록에 4개씩 총 12개를 배치하였다.
연구자는 소음이 차단된 조용한 공간에서 노트북(Gram 17ZD990, LG Inc., Seoul, Korea)을 통해 대상자에게 음성 파일을 들려주었다. 청자는 시각 아날로그 평정(visual analogue scale)을 이용하여, 본인이 지각한 감정을 그림 2와 같이 각 감정 척도에 0에서 100점으로 표시하였다. 대상자의 평안한 청취를 위해, 들려주는 음성 강도 조절은 스스로 조정하도록 하였다. 이때, 대상자에게 휴식이 필요한 경우, 언제든지 휴식을 취할 수 있도록 하였다.
신뢰로운 감정 음성 DB 구축을 위해서는 청자가 감정 음성 평정 과제에 집중하여 잘 참여하는 것이 중요하므로, 과제 참여의 신뢰성을 확인하기 위한 평가 음성을 12개 삽입하였다. 평가 음성은 6개의 감정별로 2개씩, 총 12개의 문장으로 구성되어 있으며, 의미와 운율이 일치되고 간투사와 감탄사를 추가한 문장을 사용하였다(부록 1). 본 연구에서는 해당 평가 음성에서 정반응률이 80% 미만인 대상자의 데이터는 신뢰롭지 않다고 판단하여, DB의 신뢰도, 민감도, 특이도 분석에서 제외하였다. 그리고 본 연구에서는 다수의 청자가 감정 음성을 평정하였기 때문에, 내적 일관성 신뢰도(internal consistency reliability)는 Cronbach’s α 계수로 확인하였다.
본 연구에서 구축한 감정 음성 DB의 타당도를 분석을 위해 Belin et al.(2008)의 방법을 참고하여 민감도와 특이도를 계산하였다. 해당 개념을 감정 음성 DB의 타당도 검증에 적용할 경우, 민감도는 청자가 감정 음성에 표현된 감정을 정확하게 인식하는 지표로 사용된다. 즉, 청자가 들려주는 감정 음성을 듣고, 실제로 목표로 한 감정을 인식한 경우를 적중(hit)으로 간주하고, 적중률(hit rate)을 계산하여 민감도를 측정할 수 있다. 민감도가 높은 감정 음성은 화자가 표현하려고 한 감정이 잘 인식되는 음성으로 간주할 수 있다. 예를 들면, 청자에게 제시한 음성의 감정이 행복인데, 실제로 청자가 가장 높게 평정한 점수의 감정이 행복인 경우에 적중했다고 판단하며, 전체 청자 중에서 같은 음성에 대해서 적중한 청자의 백분율(%)을 산출하여 민감도를 구하는 것이다. 감정별 민감도 산출을 위한 적중률 계산식은 아래와 같다.
특이도는 평정 척도와 관련된 것으로, 청자가 특정 감정에 대해서 가장 높은 점수를 준 음성이 실제로 의도된 감정과 일치하는 경우를 정기각(correct rejection)으로 간주하고, 정기각률(correct rejection rate)을 계산하여 특이도를 측정하였다. 예를 들면, 청자가 시각적 아날로그 평정 척도에서 행복을 가장 높게 평정한 음성이 실제로 배우가 행복을 표현한 음성인 경우를 정기각으로 판단하며, 전체 청자 중에서 같은 감정에 대해서 정기각한 청자의 백분율(%)을 산출하여 특이도를 구하는 것이다. 감정별 특이도 산출을 위한 정기각률 계산식은 아래와 같다.
3. 연구 결과
본 연구에서 음성에 대한 감정 평가 과제 참여의 신뢰도를 확인한 결과, 31명의 청자 중에서 감정 음성에 대한 정반응률이 80% 미만인 청자가 1명이었다. 청자 30명의 평정 결과로, 내적 일관성 신뢰도는 Cronbach α가 .847로 높은 수준으로 나타났다.
본 DB의 감정별 평정값과 민감도, 및 특이도는 표 4에 제시하였다. 각 음성 파일의 민감도와 특이도를 살펴보기 위해 각각 적중률과 정기각률을 산출하였다. 청자의 감정 인식에 대한 적중률로 계산된 전체 민감도는 82.8%였다. 감정 음성별로 살펴보면, 그림 3과 같이 행복 83.1%, 분노 93.8%, 공포 71.3%, 슬픔 77.8%, 놀람 76.6%, 중립 90.5%로 산출되었다. 감정 평정에서의 감정에 따른 정기각률로 계산된 전체 특이도는 83.8%였으며, 세부적으로는 그림 4와 같이 행복 88.7%, 분노 93.0%, 공포 80.2%, 슬픔 78.9%, 놀람 74.9%, 중립 86.2%로 산출되었다.
4. 논의 및 결론
본 연구는 사람들 간의 의사소통에서 운율정보를 통해 상대방의 정서를 인식하는 능력이 중요하다는 것에 착안하여, 다양한 연령대의 일반인과 의사소통장애인을 대상으로 한 운율 기반의 정서 인식 능력 측정에 활용될 수 있는 국내 감정 음성 DB를 구축하고자 하였다. 이를 위하여, 남녀 배우 각 1인에게 의미적으로 중립적인 문장 10개를 행복, 분노, 공포, 슬픔, 놀람, 중립의 6개 정서로 표현해보도록 하여 음성 파일을 녹음하였고, 일반 성인 31명을 대상으로 감정 음성 DB의 신뢰도, 민감도, 특이도를 측정하여, DB에 대한 타당도를 점검하였다. 본 연구 결과에 따른 논의 및 결론은 아래와 같다.
본 연구에서 감정 음성 DB의 신뢰도를 확인한 결과, 내적 일관성 신뢰도 Cronbach’s α 계수가 .847로, 신뢰도가 매우 높은 수준이었다. 이러한 결과는 시각 및 청각에 문제가 없는 20대 일반 성인이 ‘행복, 분노, 공포, 슬픔, 놀람, 중립’이라는 정서 어휘를 들었을 때 대표적으로 떠올리는 음성과 운율을 본 DB가 매우 잘 반영하고 있음을 의미한다. 이처럼 높은 수준의 신뢰도 결과는 감정 음성 DB 구축 과정이 매우 체계적이었기 때문에 가능했던 것으로 생각된다. 첫째, 발화 문장 제작 시 어절 및 음절 수와 난이도를 통제하여 대상자의 인지적 부담을 최소화하였다. 둘째, 언어병리학 석․박사과정생 6명과 언어병리학 교수 1인이 문장마다 의미적으로 중립적인지를 평가하고 선별함으로써, 대상자가 의미보다 운율에 더욱 집중하여 감정을 판단할 수 있도록 하였다. 셋째, 녹음에 참여한 배우는 뮤지컬 배우로 감정 음성 표현에 훈련된 화자였다. 또한, 녹음 과정에서 연구자가 실시간 모니터링을 하면서 배우가 감정을 제대로 표현할 때까지 2–3회 반복적으로 표현을 요청하였다. 넷째, 음성 파일 세트를 구성하기 전에, 모든 연구자가 각 음성에 어떤 감정이 표현되었는지를 평가하여 만장일치의 의견을 보인 음성 파일을 선별한 후에 세트를 구성하였다. 다섯째, 국외 감정 음성 DB와 달리, 많은 음성 파일을 듣고 평가하는 대상자의 과제 참여 신뢰성 확인을 위해 음성 파일 세트마다 평가 음성을 삽입하였다는 점 역시 높은 수준의 신뢰도 산출에 기여한 것으로 보인다.
본 감정 음성 DB의 전체 민감도는 82.8%로 나타났다. 이러한 결과는 청자가 특정 감정이 표현된 음성을 듣고, 화자가 의도한 정서대로 인식할 확률이 82.8%임을 의미한다. 본 연구 결과의 민감도와 MAV(Belin et al., 2008) DB를 비교하여 살펴보면, 본 DB의 전체 민감도는 물론 행복, 분노, 공포 음성의 민감도가 국외 DB보다 높은 수치를 보인 반면, 슬픔과 놀람은 더 낮은 민감도를 보였다. 청자의 민감도 평정 결과를 세부적으로 살펴보면, 상반된 정서가(valence)를 가진 정서에 대해서는 적게 인식하고 있었다. 예를 들면, 청자는 행복 음성에서는 공포 감정을, 슬픔음성에서는 행복 감정을 가장 적게 인식하는 것으로 나타났다. 한국인의 감정별 음성 특징을 알아본 Kwon et al.(2012)의 연구 결과에 따르면, 상반된 정서가를 지닌 감정을 표현할 때는 jitter, shimmer, 평균 기본주파수, LTAS(long term average spectral slope), H1-A1(첫 번째 포먼트 대역폭 B1의 크기), H1-A3(스펙트럼 기울기), 배음 대 소음 비율, SPI(soft phonation index) 변수에서 정반대의 경향을 보인다. 이러한 음성 감정의 특성으로 인하여, 본 연구에서는 상반된 감정에 대해서는 청자들이 가장 적게 인식한 것으로 생각된다.
본 감정 음성 DB의 전체 특이도는 83.8%였다. 이는 청자가 높게 평정한 감정이 실제로 배우가 표현한 감정일 확률이 83.8%임을 의미한다. 본 감정 음성 특이도를 MAV(Belin et al., 2008) DB와 비교하면, 본 DB의 전체 특이도는 물론 행복, 분노, 공포, 놀람이 더 높은 수치를 보였으나, 슬픔에서는 낮은 특이도를 보였다. 본 감정 음성의 DB는 국외 DB보다 전체 민감도와 전체 특이도가 높았는데, 이는 서양인(영국인, 네덜란드)보다 동양인(일본인)이 말의 내용보다 운율정보에 더 집중하고 민감하다는 경향(Kitayama & Ishii, 2002; Tanaka et al., 2010)이 반영된 것으로 보인다. 하지만 국외 DB에 비하여, 슬픔과 놀람에 대해서는 낮은 민감도와 특이도를 나타냈다. 이는 독일, 스위스, 영국, 네덜란드, 미국, 이탈리아, 프랑스, 스페인을 포함한 서양국가와 동양국가 중 인도네시아를 비교한 Scherer et al.(2001)의 연구에서 인도네시아 집단이 슬픔에서 가장 낮은 감정 인식 정확도를 보였으며, 캐나다 집단보다 일본인 집단이 놀람에서 유의하게 높은 점수를 주었다는 Koeda et al.(2013)의 연구 결과를 지지한다고 볼 수 있다.
본 감정 음성 DB의 신뢰도, 민감도 및 특이도 결과를 통해, 각 감정 음성에는 연구자가 의도한 감정이 문화적으로 잘 반영되었다는 것을 확인하였다. 이는 본 DB가 운율에 기반하여 감정을 인식하는 능력을 측정하기 위한 도구의 자료로 사용되기에 적합함을 시사한다. 감정 인식 능력은 사회적 상호작용을 촉진한다는 점에서 매우 중요하지만, 일부 의사소통 장애를 경험하는 사람들이 유의하게 낮은 정서 인식 능력을 가지고 있다는 사실이 여러 선행연구(Choi & Lee, 2009; Filipe et al., 2014; Oerlemans et al., 2014; Peng et al., 2008; Sim, 2007)에서 확인되었다. 따라서 의사소통장애군의 운율 특성을 살펴보는 연구에 그치지 않고, 운율 인식 향상을 위한 중재 연구 및 임상 콘텐츠 제작이 필요하며, 이때 타당성이 갖춰진 본 DB가 적극적으로 활용될 수 있을 것이다.
본 연구에서 구축된 감정 음성 DB가 신뢰도와 타당도가 높은 것으로 확인되었음에도 제한점 역시 존재한다. 첫째, 인간이 인식하는 행복과 분노, 공포, 슬픔의 감정은 정서가, 각성가(arousal)에 따라서 하부적인 감정으로 세분화될 수 있는데(Willcox, 1982), 본 연구에서는 청자가 인식하는 감정 음성의 유형을 6개로 단순화하여 감정 음성 DB를 구축하고 타당도를 확인하였다. 둘째, 본 연구에서 구축한 음성 DB는 비언어적 단서 중 말속도, 음도, 강도와 같은 운율적 요소로만 감정이 표현되도록 하였다. 이는 청자가 의사소통 상황에서 화자의 감정을 이해할 수 있는 다양한 비언어적 단서(예: 음질, 음색, 표정, 제스처 등)에 대한 정보를 활용할 수 있다는 점을 반영하지 못하였다. 마지막으로, 본 DB에서는 비교적 명료하고 단순하게 특정 정서를 표현한 문장만을 포함하고 있으므로, 일상회화에 얽힌 보다 복잡하고 미묘한 여러 개의 정서를 잘 인식하는 능력은 본 DB를 통해 측정되지 않을 수 있다는 것이다.
후속연구를 위한 제언점은 다음과 같다. 첫째, 사투리 사용자의 감정 음성도 DB에 포함될 필요가 있다. 본 연구에 참여한 청자와 화자는 모두 서울말 구사자였기 때문에, 각 정서 및 운율에 대해 모종의 공통적이고 제한적인 이해를 가지고 있었다. 하지만 억양, 음조, 강세, 템포, 리듬 등 운율을 조성하는 가장 중요한 기술적인 요소들이 사투리에서 두드러진다는 점을 감안하였을 때(Ma, 2012), 청자 혹은 화자에 사투리 발화자를 포함시킨다면 감정 음성 DB의 타당도 결과는 달라질 수도 있다. 따라서 후속연구에서는 다양한 방언으로 정서 발화를 수집하여 더욱 다양하고 광범위한 데이터를 구축할 필요가 있다. 둘째, 정서 처리는 문화적 범위뿐만 아니라 개인적 범위에서도 차이가 드러난다. 예를 들어, 놀람의 정서를 떠올렸을 때 깜짝 선물을 받고 기뻐하는 긍정적인 놀람을 느끼는 사람이 있는 반면, 어떤 무서운 것이 갑작스럽게 나타나 느끼게 되는 부정적인 놀람을 느끼는 사람 역시 존재한다. 따라서 더 많은 청자와 화자를 대상으로 타당도 검증을 진행한다면 개인적 정서 처리의 차이를 극복할 수 있는 범용성이 큰 데이터로서의 가치를 입증할 수 있을 것이다.
