AI 음성 합성은 지금 어디까지 왔을까?

![AI 음성 합성은 지금 어디까지 왔을까? 표지](/uploads/20260622104442699-01-cover-7dd92e9a5d0a4847bf0addee3b7ce463.png) 2026년 6월 20일 부산 라운지J에서 열린 `.NET Universe: Busan Edition, 2606`에서 `AI를 이용한 TTS, 음성합성 + LingoMotion`이라는 주제로 50분 세션을 진행했다. 발표의 중심은 모델 이름을 나열하는 것이 아니라, 텍스트가 실제 음성이 되고 다시 영상 콘텐츠가 되기까지 어떤 데이터 흐름을 지나가는지 확인하는 것이었다. TTS를 단순히 “글을 읽어 주는 기능”으로 보면 요즘 모델의 차이가 잘 보이지 않는다. 실제 제작에서는 입력 문장, 발음 보정, 청킹, 음색 조건, 보코더, 볼륨 정규화, 자막, 배경, BGM, 최종 MP4까지 모두 품질에 관여한다. 이번 발표는 그 흐름을 과거 방식부터 최근 생성형 음성 모델, 그리고 LingoMotion 데모까지 한 줄로 연결해 보여 주는 자리였다. ## 소리는 먼저 데이터가 된다 음성 합성을 이해하려면 먼저 소리를 숫자로 봐야 한다. 마이크로 들어온 파형은 샘플링을 거쳐 일정 간격의 숫자 배열이 되고, 모델은 그 숫자의 패턴을 학습한다. 과거 TTS는 사람이 설계한 발음 규칙과 음소 단위, 운율 파라미터를 조합해 소리를 만들었다. 이후 신경망 TTS는 텍스트에서 mel-spectrogram 같은 중간 표현을 예측하고, vocoder가 이를 다시 파형으로 바꾸는 방식으로 자연스러움을 크게 끌어올렸다. 이 흐름에서 중요한 점은 “모델 하나가 곧 제품”이 아니라는 것이다. 숫자, 발음, 시간 길이, 음색, 파형이 단계마다 다른 표현으로 바뀌며, 오류도 그 단계마다 다르게 나타난다. 숫자를 잘못 읽으면 전처리 문제이고, 말끝이 어색하면 운율이나 duration 문제이며, 금속성 잡음은 vocoder나 후처리 문제일 수 있다. ## 제로샷과 파인튜닝 사이 최근 TTS는 참조 음성 몇 초만으로 비슷한 목소리를 만드는 zero-shot 방식과, 특정 목소리를 안정적으로 유지하기 위해 데이터를 더 모아 조정하는 fine-tuning 방식으로 나뉜다. zero-shot은 실험과 데모에 빠르고, fine-tuning은 장기 채널처럼 반복 제작에서 같은 목소리를 유지해야 할 때 유리하다. 다만 zero-shot이 쉬워질수록 동의와 출처는 더 중요해진다. 기술적으로 가능하다는 것과 써도 된다는 것은 다른 문제다. 공개 콘텐츠에서 합성 음성을 쓴다면 허가받은 목소리인지, 합성 여부를 어떻게 표시할지, 데모 범위를 어디까지 둘지 함께 정해야 한다. ## LingoMotion은 모델 호출이 아니라 제작 파이프라인이다 ![LingoMotion 제작 파이프라인 개요](/uploads/20260622104442775-02-lingomotion-overview-6da52f79e6454f6b920d30980bd7bce6.png) 발표 후반부에서는 LingoMotion을 실제 제작 파이프라인으로 설명했다. LingoMotion은 대본 하나를 입력받아 `narration.wav`, `subtitles.srt`, 배경 이미지, BGM, `manifest.json`, 최종 `final.mp4`까지 연결하는 .NET/C# 기반 CLI 도구다. 핵심은 “어떤 모델을 썼는가”보다 “어떤 중간 파일을 남기고 어디서 검수할 수 있는가”에 있다. 발표 자료의 한국어 음성 체인은 다음처럼 구성했다. ![한국어 음성 체인과 모델 선택](/uploads/20260622104442802-03-voice-chain-674050da8f8c444ca16eab71425fa1a3.png) 1. 대본을 짧은 청크로 나눈다. 2. Supertonic v3 ONNX C# 경로로 안정적인 source TTS를 만든다. 3. CosyVoice3 / RT 계열로 개인 음색 조건을 입힌다. 4. Qwen3-TTS 계열의 direct clone 또는 source ICL 보정 실험으로 표현력을 비교한다. 5. 청크를 결합하고 Yo…