가이드

여러 사람이 말하는 녹음을 다루는 법

자동 화자 표시는 텍스트 변환 분야에서 가장 과대 포장된 기능입니다. 이 기술이 실제로 무엇을 하는지, 그럼에도 여러 화자의 정확한 텍스트를 얻는 방법을 정리했습니다.

30 August 2026

"자동 화자 식별"은 대부분의 텍스트 변환 제품의 기능 목록에 등장합니다. 실제로 존재하는 기술이고, 때로는 정말 유용하며, 마케팅이 암시하는 만큼 안정적이지는 전혀 않습니다.

회의, 패널 토론, 집단 인터뷰를 텍스트로 변환한다면 실제로 무엇을 얻는지 알아 둘 가치가 있습니다.

화자 분리가 하는 일 #

화자 분리는 텍스트 변환과 별개의 단계입니다. 단어를 인식하는 것이 아니라 음높이, 음색, 말의 리듬 같은 목소리 특성으로 오디오를 묶고 "이 구간은 저 구간과 같은 사람처럼 들린다"고 판단합니다. 그런 다음 그 묶음들에 화자 1, 화자 2 같은 이름을 붙입니다.

이 설명에서 두 가지가 따라 나오고, 이 기능에 대한 거의 모든 불만이 그것으로 설명됩니다.

누가 누구인지는 모릅니다. "첸 박사"가 아니라 "화자 1"을 내놓습니다. 이름을 붙이는 것은 언제나 사람의 몫입니다. 실제 이름을 보여 주는 도구는 누가 음소거를 풀었는지 알고 있던 플랫폼의 메타데이터를 쓰고 있거나, 여러분이 알려 준 것입니다.

의미가 아니라 목소리의 유사성으로 동작합니다. 목소리가 비슷한 두 사람은 하나의 표시로 합쳐집니다. 마이크에서 몸을 돌리거나, 흥분하거나, 전화로 합류해 목소리가 달라진 한 사람은 둘로 갈라집니다.

되는 경우와 안 되는 경우 #

어느 정도 믿을 만한 경우: 두 사람, 뚜렷이 다른 목소리, 각자 마이크가 있거나 가까이 놓인 공용 마이크, 그리고 겹침이 적은 번갈아 말하기입니다. 제대로 녹음한 2인 팟캐스트가 최선에 가깝습니다.

믿기 어려운 경우: 네 명 이상, 한가운데 녹음기 하나가 놓인 회의실, 스피커폰으로 참여한 사람입니다. 비슷한 목소리도 그렇습니다. 이것은 실제로 존재하는 곤란한 실패 양상이고, 성별이 같고 나이대가 비슷한 사람들의 모임에 유독 많이 나타나는데 대부분의 회의가 그렇습니다.

사실상 가망이 없는 경우: 말 겹침입니다. 두 사람이 동시에 말하면 오디오에 둘 다 담기고, 묶는 쪽은 하나를 골라야 합니다. 텍스트가 엉뚱한 사람에게 귀속되는 것이 정확히 이 지점이며, 논쟁이나 협상에서 가장 정확하고 싶은 순간이 바로 이때입니다.

정말 문제가 되는 실패 #

텍스트 변환의 오류는 대개 눈에 띕니다. 말이 안 되는 문장을 읽고 확인하러 가게 됩니다.

화자 귀속의 오류는 보이지 않습니다. 문장은 정확하고 잘 다듬어져 있으면서 엉뚱한 사람에게 붙어 있습니다. 어디에도 잘못된 티가 나지 않습니다. 그 위에 인용이나 회의록, 법률 메모를 쌓으면 오류가 조용히 퍼져 나갑니다.

이 비대칭 때문에 저는 자동 표시가 정확하다는 전제 위에 작업 방식을 세우지 않겠습니다.

대신 할 일 #

플랫폼이 화자를 알고 있었다면 그것을 쓰세요 #

정말로 더 나은 답이 있는 유일한 경우입니다. Zoom, Teams, Google Meet은 누가 음소거를 풀었는지 알고 있으므로, 자체 텍스트에서는 오디오로 추측하는 대신 메타데이터로 화자를 표시할 수 있습니다. 정확한 귀속이 최우선이고 텍스트 변환이 포함된 요금제로 회의를 클라우드에 녹화했다면, 그것이 확보 가능한 가장 믿을 만한 출처입니다. 절충점은 회의 녹화 가이드에서 다룹니다.

문제가 작아지게 녹음하세요 #

• 녹음이 중요하다면 한 사람당 마이크 하나를 쓰세요. 트랙이 나뉘면 귀속이 간단해지고 화자 분리가 아예 필요 없어집니다.
• 서로 말을 겹치지 않도록 요청한 원탁 회의는 그렇지 않은 회의보다 훨씬 나은 텍스트를 만들어 냅니다. 녹음하는 회의를 시작할 때 이 말을 하는 것은 자연스럽고 모두에게 도움이 됩니다.
• 처음 발언할 때 자기를 밝히게 하세요. "프리야입니다" 같은 한마디가 텍스트에서 기준점이 되어 줍니다.

쓰는 시점에 직접 표시하세요 #

대부분의 작업에서는 텍스트 전체에 표시가 필요하지 않습니다. 인용하거나 실행에 옮길 여섯 대목에 정확한 표시가 있으면 됩니다.

실용적인 방법은 이렇습니다. 타임스탬프가 있는 구간 보기에서 작업하며 중요한 대목을 찾고, 그 줄들의 오디오를 재생하고, 확인하면서 이름을 적어 넣습니다. 어차피 단어를 확인하려고 그 순간들을 듣고 있을 테니 표시를 붙이는 데 드는 추가 비용은 없고, 실제로 정확한 유일한 방법이기도 합니다.

표시 대신 구조를 활용하세요 #

많은 회의 작업에서는 타임스탬프만 있고 화자 표시가 없는 텍스트로도 충분합니다. 희곡 대본을 만드는 것이 아니라 결정과 실행 항목을 찾는 것이니까요. 애초에 필요 없던 표시를 고치느라 오후를 쓰지 마세요.

저희의 입장 #

Offline Transcription은 자동 화자 식별을 하지 않습니다. 이유를 그대로 말하면 이렇습니다. Whisper 계열은 화자 분리를 하지 않고, 이를 추가하려면 위에서 설명한 신뢰도 특성을 가진 두 번째 모델이 필요하며, 눈에 띄지 않는 방식으로 틀린 표시를 내보내는 것은 저희 사용자가 하는 종류의 작업에서 표시를 아예 내놓지 않는 것보다 나쁩니다.

대신 제공하는 것은 수동 표시를 빠르게 만드는 작업 방식입니다. 모든 구간에 타임스탬프가 붙어 있고, 이름을 적기 전에 어느 줄이든 그 뒤의 오디오를 재생해 누가 말했는지 확인할 수 있습니다.

자동 표시가 반드시 필요한 조건이라면, 그것은 다른 도구를 쓸 정당한 이유이고, 아닌 척하기보다 그렇게 말하는 편을 택하겠습니다.

요약 #

화자 분리는 목소리를 묶을 뿐, 사람을 알지는 못합니다. 뚜렷이 다른 두 화자에게는 쓸 만하고, 여러 명이거나 목소리가 비슷하거나 말이 겹치면 믿기 어렵습니다. 게다가 그 오류는 텍스트 변환 오류와 달리 눈에 보이지 않습니다. 중요하다면 트랙을 나눠 녹음하고, 플랫폼 메타데이터가 있다면 그것을 쓰고, 그 외에는 실제로 사용하는 몇 대목만 쓰는 시점에 귀로 확인해 표시하세요.