AI 음성 합성은 지금 어디까지 왔을까?

2026년 6월 20일 부산 라운지J에서 열린 .NET Universe: Busan Edition, 2606에서 AI를 이용한 TTS, 음성합성 + LingoMotion이라는 주제로 50분 세션을 진행했다. 발표의 중심은 모델 이름을 나열하는 것이 아니라, 텍스트가 실제 음성이 되고 다시 영상 콘텐츠가 되기까지 어떤 데이터 흐름을 지나가는지 확인하는 것이었다.

TTS를 단순히 “글을 읽어 주는 기능”으로 보면 요즘 모델의 차이가 잘 보이지 않는다. 실제 제작에서는 입력 문장, 발음 보정, 청킹, 음색 조건, 보코더, 볼륨 정규화, 자막, 배경, BGM, 최종 MP4까지 모두 품질에 관여한다. 이번 발표는 그 흐름을 과거 방식부터 최근 생성형 음성 모델, 그리고 LingoMotion 데모까지 한 줄로 연결해 보여 주는 자리였다.

소리는 먼저 데이터가 된다

음성 합성을 이해하려면 먼저 소리를 숫자로 봐야 한다. 마이크로 들어온 파형은 샘플링을 거쳐 일정 간격의 숫자 배열이 되고, 모델은 그 숫자의 패턴을 학습한다. 과거 TTS는 사람이 설계한 발음 규칙과 음소 단위, 운율 파라미터를 조합해 소리를 만들었다. 이후 신경망 TTS는 텍스트에서 mel-spectrogram 같은 중간 표현을 예측하고, vocoder가 이를 다시 파형으로 바꾸는 방식으로 자연스러움을 크게 끌어올렸다.

이 흐름에서 중요한 점은 “모델 하나가 곧 제품”이 아니라는 것이다. 숫자, 발음, 시간 길이, 음색, 파형이 단계마다 다른 표현으로 바뀌며, 오류도 그 단계마다 다르게 나타난다. 숫자를 잘못 읽으면 전처리 문제이고, 말끝이 어색하면 운율이나 duration 문제이며, 금속성 잡음은 vocoder나 후처리 문제일 수 있다.

제로샷과 파인튜닝 사이

최근 TTS는 참조 음성 몇 초만으로 비슷한 목소리를 만드는 zero-shot 방식과, 특정 목소리를 안정적으로 유지하기 위해 데이터를 더 모아 조정하는 fine-tuning 방식으로 나뉜다. zero-shot은 실험과 데모에 빠르고, fine-tuning은 장기 채널처럼 반복 제작에서 같은 목소리를 유지해야 할 때 유리하다.

다만 zero-shot이 쉬워질수록 동의와 출처는 더 중요해진다. 기술적으로 가능하다는 것과 써도 된다는 것은 다른 문제다. 공개 콘텐츠에서 합성 음성을 쓴다면 허가받은 목소리인지, 합성 여부를 어떻게 표시할지, 데모 범위를 어디까지 둘지 함께 정해야 한다.

LingoMotion은 모델 호출이 아니라 제작 파이프라인이다

발표 후반부에서는 LingoMotion을 실제 제작 파이프라인으로 설명했다. LingoMotion은 대본 하나를 입력받아 narration.wav, subtitles.srt, 배경 이미지, BGM, manifest.json, 최종 final.mp4까지 연결하는 .NET/C# 기반 CLI 도구다. 핵심은 “어떤 모델을 썼는가”보다 “어떤 중간 파일을 남기고 어디서 검수할 수 있는가”에 있다.

발표 자료의 한국어 음성 체인은 다음처럼 구성했다.

1. 대본을 짧은 청크로 나눈다.
2. Supertonic v3 ONNX C# 경로로 안정적인 source TTS를 만든다.
3. CosyVoice3 / RT 계열로 개인 음색 조건을 입힌다.
4. Qwen3-TTS 계열의 direct clone 또는 source ICL 보정 실험으로 표현력을 비교한다.
5. 청크를 결합하고 YouTube 기준에 맞춰 loudness를 정리한다.

이 구조는 긴 한국어 낭독에서 특히 중요하다. 긴 문장을 한 번에 모델에 넣으면 누락, 반복, 어색한 쉼이 생기기 쉽다. 반대로 청킹과 검수 지점을 잘 남기면 문제가 생긴 구간만 다시 만들고, 최종 영상 전체를 처음부터 재생성하지 않아도 된다.

데모는 실제 파일 기준으로 검증했다

데모 폴더에는 script.txt, subtitles.srt, manifest.json, narration.wav 같은 산출물이 남아 있다. 발표용 라이브 데모는 Supertonic ONNX C# 경로를 사용했고, 생성된 narration.youtube.wav는 YouTube 기준인 -14 LUFS에 맞춰 정규화했다. subtitles.srt에는 5개의 cue가 생성되어 실제 타임라인 검수에도 사용할 수 있었다.

음성 비교 자료에는 원본 목소리, Fish Speech, Supertonic, CosyVoice3, Qwen3, hybrid 경로가 함께 정리되어 있다. 비교 매니페스트 기준으로 WAV 파일은 151개, YouTube 정규화 파일은 32개였고, loudness 리포트는 target -14 LUFS, true peak -1.5, LRA 11 기준으로 맞췄다.

여기서 중요한 검수 기준은 manifest만 믿지 않는 것이다. 실제 wav 또는 mp4를 열어 길이, 볼륨, 발음, 호흡, 말끝, 잡음을 확인해야 한다. LingoMotion이 중간 파일을 남기는 이유도 이 때문이다.

발표의 결론

AI 음성 합성은 이제 “목소리를 만들 수 있느냐”의 단계는 넘어섰다. 실제 제작에서 더 큰 차이는 운영 가능한 체인을 갖추었는지에서 나온다. 텍스트를 어떻게 준비하는지, 음성을 어떻게 나누어 만들고 합치는지, 어떤 기준으로 정규화하는지, 자막과 영상 타임라인까지 어떻게 이어 붙이는지가 품질과 재현성을 결정한다.

그래서 LingoMotion의 방향은 모델 래퍼가 아니라 제작 그래프다. 한 번 만든 결과를 설명하고, 검수하고, 필요한 구간만 다시 만들 수 있어야 반복 제작이 가능하다. 이번 발표는 그 관점을 TTS의 역사와 최신 모델 비교, 그리고 실제 데모 산출물로 연결해 보여 준 세션이었다.