PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 1 Article
Metrics (View:5,863)
1. 서론
말운동 능력(motor speech abilities)은 나이가 들면서 많이 변화한다. 특히 노화로 인한 후두(Boulet & Oddens, 1996) 및 호흡의 변화(Lalley, 2013)가 연구를 통해 확인이 되었으며 성대 조직의 변화로 인한 음도문제(Nishio & Niimi, 2008)와 호흡능력 저하로 인한 발화시간 감소(Ramig, 1983) 등이 보고되었다. 조음 능력의 경우에도 노화로 인해 성도 직경의 변화가 나타날 수 있으며 이는 입술의 원순화(roundedness)와 같은 요인이 작용하여 명료도를 저하시키는 원인이 될 수 있다(Xue & Hao, 2003). 하지만 말 산출의 경우 근육 움직임이 최소한으로 가능하기 때문에 노화가 조음에 영향을 주지 않는다는 연구도 보고되고 있다(Watson & Munson, 2007).
말소리 산출은 호흡, 발성, 공명 및 조음 기관의 긴밀하고 빠른 협응이 필요한 복잡한 과정으로 어느 한 부분이라도 문제가 발생하면 말소리장애가 발생할 수 있다. 이에 따라 말소리 산출 기관의 다양한 평가가 매우 중요하며 특히 발음에 많은 영향을 미치는 혀와 입술의 움직임을 평가하는 것도 중요한 부분으로 인식되고 있다(Duffy, 2019). 음향음성학의 발달로 혀의 움직임과 입술의 움직임을 객관적으로 분석한 연구들이 보고되고 있다. 혀의 경우 모음 /a, i, u/를 음향음성학적으로 제1 포먼트와 제2 포먼트를 측정하여 그래프로 그리면 혀의 전후 위치 및 혀의 높낮이를 수치로 측정하여 모음공간(vowel space)을 통해 시각적으로 확인할 수 있다(Nam & Park, 2021; Turner et al., 1995). 양순음이나 이중모음에서 중요한 역할을 하는 입술의 움직임의 경우 주관적인 평가와 일부 음향학적 평가로 평정이 가능하지만(Folkins & Canty, 1986) 많은 연구가 이루어져 있진 않다.
노화에 따른 입술 움직임의 변화가 말산출에 미치는 영향에 대한 선행연구를 살펴보면 다음과 같다. Bilodeau-Mercure et al.(2015)는 입술을 최대한 /o/ 모양으로 모았다가 /i/ 모양으로 만드는 속도와 말 명료도를 비교한 결과 20대 보다 80대에서 입술 움직임의 속도가 통계적으로 유의하게 저하되었으며 말 명료도도 저하되었음을 보고하였다. Calhoun et al.(1992)의 연구에서는 노화로 인한 구강 감각 감소로 인해 발음 시 입술 및 혀의 위치를 지각하는데 어려움이 있어 명료도에 영향을 미칠 수 있다고 하였다. 반면에 Ballard et al.(2001)는 입술의 움직임을 비구어 시각 운동성 추적 검사(visuomotor tracking)를 이용하여 8–84세까지 입술 움직임을 추적한 결과 통계적으로 유의한 차이가 없다고 보고하였다.
이상과 같이 노화에 따른 입술 움직임에 대한 연구가 비구어(non-speech) 또는 구어(speech)로 측정한 점, 움직임의 속도를 보거나 움직임의 범위를 본 연구에 따라 차이가 있었다. 이에 본 연구에서는 대상자의 발화 상황을 녹화하여 입술 윤곽 추출을 통해 입술의 움직임의 범위를 정량화 하여 노화에 따라 발화시 입술 움직임의 변화를 객관적으로 제시하는 것이다. 또한 입술 움직임을 쉽게 측정할 수 있도록 스마트폰 기반의 자동화 소프트웨어를 구현하여 임상적 유용성을 높이고자 한다.
2. 연구방법
본 연구는 부산 지역에 거주하는 65세 이상의 여성 노인 15명, 일반 여성 15명, 총 30명을 대상으로 진행하였다. 노년층은 과제를 실시할 때 영향을 줄 시청각 문제가 없고, 치매 및 뇌의 기질적 병변이 없는 대상으로 한국판 간이 치매 선별 검사(Korean Mini-Mental State Examination, K-MMSE; Kang et al., 1997)에 정상에 해당하는 노인으로 선정하였다. 노년층의 평균 연령은 69세(±5.4)이었다. 정상 여성의 경우 평균 연령 22(±3.2)세의 청년층으로 과제 실시에 영향을 줄 시청각 문제가 없는 일반 성인으로 하였다. 연구대상의 세부 정보는 표 1에 제시하였다.
| Age group | n | Min | Max | Mean | SD |
|---|---|---|---|---|---|
| Elderly | 15 | 64 | 72 | 69.2 | 5.4 |
| Youth | 15 | 21 | 25 | 22.4 | 3.2 |
본 연구는 입술의 움직임의 변화가 많은 이중모음 과제를 선정하였으며 일상생활에 사용빈도(Shin, 2010)를 고려하여 표 2와 같이 구성하였다. 실험과제로 이중모음을 선택한 이유는 한국 성인 화자의 생활어휘에서 이중모음 발화시 반모음과 모음을 연속해서 발음해야 하기 때문에 입술의 역동적인 움직임이 필요하다는 선행 연구(Shim et al., 2010)와 파킨슨병 환자군의 경우 이중모음에서 제2포먼트 기울기가 완만하여 혀의 움직임이 부족하다는 선행연구(Kang et al., 2010)를 고찰하여 입술의 움직임에서도 움직임이 부족할 것이라는 판단으로 실험 자료로 선택하였다.
| Double vowel | Word |
|---|---|
| /wi/ | kwiɕin, thwigim, wiro |
| /wɛ/ | wetshul, nwemul, kwemul |
| /wa/ | hwabun, kwadza, ʨwasʌk |
입술 윤곽 정보를 추출하는 방법은 여러 가지가 있으나 크게 이미지 기반 추출방법(pixel-based method), 모델 기반 추출방법(model-based method), 빛의 밝기를 벡터화한 추출방법(optical-flow method) 등이 있다(Goldschen et al., 1994; Hennecke et al., 1994). 이 중 스마트폰의 동영상 녹화 기능을 이용하여 입술 윤곽을 추출하기 위해 이미지 기반 입술 윤곽 추출방법을 이용하였다. 이미지 기반 윤곽추출 방법을 이용하여 바깥 입술의 높이와 폭을 이중 모음 발화시 입술이 가장 좁혀지는 부분과 가장 넓어지는 범위를 파라미터로 사용하였다. 입술 윤곽 추출 방법으로 자동 추출 알고리즘을 사용하는 방법과 손으로 입술 이미지에 표시를 하여 입술 파라미터를 추출하는 방법이 있다.
화자의 자연스러운 발화 움직임의 샘플을 추출하기 위해 1회 연습할 수 있도록 하였으며 목표 단어를 무작위로 제시하여 각 단어 당 3회씩 발화하여 평균값을 계산하였다.
과제 발화시 입술 움직임의 최소치와 최대치를 계산하기 위해 다음과 같이 가로 길이(A), 세로축 길이(T)를 측정하였다(그림 1).
이중모음 발화 시 입술 움직임을 분석하기 위해 스마트폰(iPhone 8 Plus)을 이용하여 초당 60프레임, 해상도 1,920×1,080 pixel의 영상으로 녹화하였다. 녹화된 영상은 영상편집 소프트웨어(Adobe Premiere Pro)로 불러와 프레임별로 분석하여 이중모음 발화시 움직임이 가장 좁혀지는 스틸이미지 한 컷과 입술 움직임이 가장 길어지는 스틸이미지 한 컷을 추출하여 분석하였다. 이미지 추출 시 최소와 최대 움직임을 선택할 때 임상 경력 8년 이상의 언어재활사 5명의 의견이 일치하는 경우로 선정하였다. 선택한 스틸이미지에서 입술 윤곽과 길이를 측정하기 위해 미국 국립보건의학원에서 개발한 영상분석 소프트웨어 ImageJ (Abramoff & Magalhães, 2004)를 이용하였다. 입술 윤곽 추출 시 입술과 입술 외의 경계 지점을 정확하게 구분하기 위해 ImageJ를 이용하여 컬러 이미지를 8비트 흑백 이미지로 변환하여 Find Edges 메뉴를 이용하여 입술 윤곽 추출을 하였다. 카메라의 촬영 위치나 대상자의 입의 모양에 따라 크기가 변할 수 있기 때문에 촬영 당시 양 눈썹 사이에 부착한 지름 1 cm의 원형 스티커를 기준으로 하여 기준 픽셀을 설정하고 입술의 가로 및 세로 움직임을 측정하여 기준 스티커의 크기로 변환하여 계산하였다. 즉 1 cm 기준 스티커의 길이가 영상 촬영에서 10 pixel로 측정 된 경우 입술 길이가 20 pixel로 측정되었을 경우 20 pixel을 10 pixel로 나누어 모든 영상이 같은 비율로 측정 될 수 있도록 재계산하였다. 기준점 및 입술의 가로, 세로 길이는 ImageJ의 픽셀 측정 도구로 결과값을 측정하였으며(그림 2), 최대 움직임의 길이에서 최소 움직임의 길이를 뺀 값을 입술 움직임 범위로 선정하였다. 최종 입술의 움직임의 범위는 그림 3과 같다.
입술 윤곽추출을 위한 자동화를 위해 OpenCV의 C++을 사용하여 구현하였다. 자동화를 위해 스틸 이미지 변환 없이 분석할 수 있도록 Audio Video Interleave(.avi) 파일을 사용하였다. 이미지 처리는 다음과 같은 4단계를 사용하였다.
첫 번째 단계로 회색조(gray scale) 변환을 사용하여 배경과 물체를 쉽게 분리할 수 있도록 하였다(Park, 2001). 두 번째 단계로는 이미지 블러링(image blurring)을 사용하여 입술 이외의 배경을 약화시켰다(Wakasugi et al., 2004). 세 번째 단계로 윤곽선 검출을 위해서는 영상에서 기울기를 나타내는 그라디언트(gradiant)의 값을 구하여 영상의 밝기 값이 급격히 변화하는 부분을 입술의 윤곽선이라 판단하고 이를 위해 소벨 마스크(Sobel mask)를 사용하였다. 마지막으로 윤곽선의 연결 성분 라벨링을 위해 Blob 라벨링을 사용하여 각 영역의 크기, 위치, 방향, 둘레와 같은 영역의 특징 값을 추출하는데 사용하였다(Kass, 1998). 위 단계로 구현된 자동화를 통한 입술 윤곽 추출 결과는 그림 4와 같다.
자동화를 통해 입술 윤곽을 추출한 후 입술의 상하, 좌우 4개의 점을 확보하고 발화 시 입술 움직임에 대한 변화를 수작업과 동일한 방법으로 그림 1과 같이 가로(A), 세로(T) 값을 출력하도록 하였다.
이중모음 산출 시 입술 움직임 범위에서 두 집단 간 차이가 있는지 알아보기 위해 샤피로 윌크 검정(Shapiro-Wilk test)을 실시하였으며 검정결과 두 집단이 정규분포를 충족(w=0.993, p=0.906)하여 독립표본 t 검정을 실시하여 비교하였다. 수작업과 자동화 간 통계적 상관성을 알아보기 위해 피어슨 상관 분석실시하였다. 통계 프로그램은 Jamovi 1.6을 사용하였다(Jamovi Project, 2020).
3. 결과
노년층과 청년층의 이중모음 발화 시 입술 움직임의 범위를 알아보기 위해 가로(A), 세로(T) 값을 입술의 가장 좁은 지점에서 가장 넓은 지점간의 차이를 비율로 계산하였으며 두 집단 간 과제 따른 A값의 평균과 표준편차는 표 3과 같으며 T값의 평균과 표준편차는 표 4와 같다.
| Task | Group | A | t-value |
|---|---|---|---|
| /wi/ | Elderly | 5.32 (±1.33) | –3.215* |
| Youth | 9.14 (±2.51) | ||
| /wɛ/ | Elderly | 3.84 (±0.86) | –2.527* |
| Youth | 7.65 (±1.47) | ||
| /wa/ | Elderly | 4.85 (±1.52) | –2.865* |
| Youth | 8.69 (±2.41) |
| Task | Group | T | t |
|---|---|---|---|
| /wi/ | Elderly | 1.21 (±0.54) | –2.765* |
| Youth | 4.14 (±1.88) | ||
| /wɛ/ | Elderly | 1.45 (±0.32) | –1.867* |
| Youth | 2.54 (±1.02) | ||
| /wa/ | Elderly | 3.43 (±1.24) | –3.085* |
| Youth | 7.54 (±2.87) |
입술움직임 범위를 보기 위해 /wi/ 과제의 경우 노인층의 가로 길이는 5.32 pixel, 세로 길이는 1.21 pixel 비해 청년층의 경우 가로 길이 9.14 pixel, 세로 길이 4.14 pixel로 노년층이 입술 움직임 범위가 통계적으로 유의하게 낮게 나타났다(p<.05). /wa/ 과제의 경우 노년층의 가로 길이는 4.85 pixel, 세로 길이 3.43 pixel에 비해 청년층의 경우 8.69 pixel, 세로 길이 7.54 pixel로 노년층이 입술 움직임 범위가 통계적으로 유의하게 낮게 나타났다(p<.05). /we/ 과제의 경우 노년층의 가로 길이는 3.84 pixel, 청년층이 7.65 pixel로 노년층이 통계적으로 유의하게 낮은 범위를 나타내었으나 세로 길이 범위의 경우 노년층은 1.45 pixel, 청년층은 2.54 pixel로 통계적으로 유의한 차이가 나타나지 않았다.
수작업과 자동화 간의 결과 값의 상관관계를 알아보기 위해 피어슨 상관 분석을 실시하였으며 결과는 표 5, 표 6과 같다.
| HW-/wi/ | HW-/we/ | HW-/wa/ | |
|---|---|---|---|
| AM-/wi/ | .967** | - | - |
| AM-/we/ | - | .956** | - |
| AM-/wa/ | - | - | .964** |
| HW-/wi/ | HW-/we/ | HW-/wa/ | |
|---|---|---|---|
| AM-/wi/ | .971** | - | - |
| AM-/we/ | - | .964** | - |
| AM-/wa/ | - | - | .970** |
수작업을 통한 입술 윤곽 추출과 자동화를 통한 입술 윤곽 추출의 상관관계를 살펴본 결과 두 방법에서 .956–.971(p<.01)의 수준을 나타내었다. 이는 수작업 및 자동화 방법 모두 입술 윤곽 추출의 범위를 측정하는데 거의 유사한 값을 나타낸 것을 알 수 있었다.
4. 결론
본 연구에서는 이중모음 발화시 입술의 움직임 변화에 대해 노년층과 청년층의 발화 영상을 분석하여 비교하였다. 연구결과 노인집단은 젊은 여성 집단에 비해 이중모음 발화시 입술의 가로 움직임 범위와 세로 움직임 범위가 현저하게 감소된 것을 알 수 있었다. 입술의 움직임을 객관적인 수치로 확인하여 비교한 선행연구가 없어 비교하기는 어렵지만 Choi(2012)의 연구에서 제2포먼트 기울기 지수로 이중모음의 발화 패턴을 청년층, 장년층, 노년층과 비교한 결과 노년층의 경우 이중모음 발화 시 혀의 움직임 범위가 청년층에 비해 좁아 이중모음 발화시 명료도가 떨어진다고 보고한 바 있다. 또한 Byeon(2010)의 연구에서도 마비말장애의 경우 이중모음 발화시 제2포먼트 기울기 지수가 현격하게 감소함을 보고하며 혀의 움직임의 둔화를 지적하였다. 선행 연구와 마찬가지고 본 연구에서 객관적인 입술 움직임을 측정한 결과 이중 모음 발화시 입술의 움직임이 현저하게 감소한 결과는 혀의 움직임 저하와 더불어 입술의 움직임 또한 저하되어 말의 명료도가 낮아지는 것을 알 수 있다.
비구어를 통한 입술 움직임을 본 Bilodeau-Mercure et al. (2015)의 연구에서 노화가 진행됨에 따라 속도가 저하된다는 연구결과를 뒷받침 하는 결과라 할 수 있다. Ballard et al.(2001)의 비구어 연구에서는 노화에 따라 입술 움직임의 범위에 차이가 없다고 보고하였는데 이는 본 연구와 반대되는 결과이다. 구어 과제를 이용하여 /o, u/가 포함된 단어를 발화시 입술의 움직임을 본 Wohlert & Smith(1998)의 연구에서 76–83세 노인집단의 경우 입술의 변위가 낮게 나타났으며 이는 노년기의 감각운동 능력 변화와 음성 운동 조절의 안정성이 감소한다고 하였으며 본 연구결과와 일치하였다. 또한 구어과제를 이용한 구어능력 평가 연구에서 노화가 진행될수록 입술 움직임이 감소한다는 연구와도 일치하였다(Green et al., 2000; Sadagopan & Smith, 2013). 본 연구에서는 구어 과제를 사용하여 입술의 움직임이 감소되었다고 볼 수 있으며 향후 구어과제와 비구어과제의 차이를 연구하는 것도 도움이 될 것으로 판단된다.
현재까지 말 명료도의 객관적인 측정을 위해 음향학적인 평가로 제2포먼트 기울기와 제1포먼트와 제2포먼트의 모음면적을 통해 혀의 움직임 범위와 속도를 측정한 것에 더해 본 연구에서 사용한 영상인식 기술을 이용해 입술의 움직임을 객관적으로 제시하여 현재 자신의 발음 상태를 모니터링 할 수 있을 것으로 판단된다. 또한 대부분 스마트폰을 소유하고 있어 임상이나 가정에서 사용도 용이할 것으로 판단되며 마비말장애, 청각장애 등 입술 훈련을 실시할 때 피드백으로 활용해도 도움이 될 것이다.
본 연구를 시행함에 있어 다음과 같은 문제점을 발견하였으며 추후 연구에서는 문제점을 개선 및 보완한 연구를 진행하고자 한다.
첫째, 노인집단에서 이중모음 과제를 실시하였는데 경상도 방언에 의해 이중모음을 단모음화하여 발음한다는 일부 선행 연구결과(Lee, 2018)를 바탕으로 표준어를 사용하는 노인에게 데이터를 수집하여 비교 분석할 필요성이 있다고 판단된다.
둘째, 이중모음의 경우에도 다양한 발화 환경에서 나타날 수 있으므로 현 연구에서보다 더 많은 이중모음 환경에서의 발화를 수집하는 것과 이중모음 뿐 아니라 다양한 모음과제에서의 차이가 어떠한가를 살펴 볼 필요성 있다.
셋째, 실험기간의 제약으로 인해 노인 및 젊은 여성 집단의 대상자 수가 각 15명으로 많이 부족한 점을 고려할 때 결과에 대한 확대 해석에 문제점이 있을 수 있다. 따라서 향후 연구에서 대상자의 수를 늘려 객관성을 높여야 할 것이다.
마지막으로 본 연구에서는 입술 움직임을 가로, 세로 방향에서 변동성을 측정하였으나 마비말장애와 같은 신경학적 병변이 있는 경우 입술의 좌우 대칭, 발화 시 좌우 움직임의 규칙성 등 다양한 입술윤곽 추출 알고리즘을 적용해 볼 필요성이 있다.
본 연구에서는 노화에 따른 입술 움직임의 변화를 알아보기 위해 스마트폰의 카메라 기능을 이용하여 입술 윤곽추출 알고리즘을 적용하여 분석하였다. 연구결과 노화에 따라 발화 시 입술 움직임의 변화가 줄어드는 양상이 관찰되었으며 간단한 영상 촬영으로 쉽고 빠르게 측정할 수 있었다. 이는 스마트폰의 카메라 기능을 활용한다면 노화뿐만 아니라 마비말장애, 조음장애 및 발음 개선에 관심이 있는 일반인들까지 쉽게 자신의 발음을 모니터링 할 수 있고 결과에 따라 언어재활 여부를 파악할 수 있어 사용성이 높을 것으로 기대된다.
