🎯 호키엔 사투리도 AI로 더빙할 수 있습니다! 2B 매개변수가 7B를 이겼습니다! VoxCPM2는 30개 언어 + 9개 방언을 완벽하게 분석하고 더 작은 모델을 사용하여 보다 사실적인 사운드를 만들어냅니다.

원저자：AI 論文白話文

원본 소스：https://www.youtube.com/embed/afnxVzN_ZF4

🎤 이 오픈소스 음성 모델은 조금 다릅니다. 기술 커뮤니티에서 논의를 불러일으키는 것은 규모가 아니라 아키텍처의 혁신입니다! VoxCPM2 — OpenBMB 팀: 🧠 핵심 혁신: 확산 자동 회귀 → 개별 토큰과 완전히 작별 🔊 기본 48kHz 고음질(외부 업컨버터 필요 없음) 🌍 30개 글로벌 언어 + 9개 중국어 방언(Hokkien 포함!) 🎭 음성 디자인: 순수 텍스트 설명 → 허공에서 새로운 사운드 생성 🎯 듀얼 트랙 복제: 제어 가능한 복제(유연함) + 궁극적인 복제(충실도) 📊 Seed-TTS 벤치마크: 2B 매개변수가 7B Qwen2.5-Omni를 능가함 ⚡ RTF 0.13(Nano-vLLM 가속) → 사람이 말하는 것보다 7배 빠름 💾 최소 8GB VRAM 실행 🆓 Apache 2.0 완전 오픈 소스 및 상업용으로 사용 가능 💻 GitHub: https://github.com/OpenBMB/VoxCPM 🤗 HuggingFace: https://huggingface.co/openbmb/VoxCPM2 📄 공식 문서: https://voxcpm.readthedocs.io/en/latest/models/voxcpm2.html [1장: 핵심 아키텍처 혁신] 0:00 - VoxCPM2(OpenBMB): 20억 개의 매개변수, 200만 시간 이상 Apache 2.0은 완전히 오픈 소스이며 상용화 가능 0:18 - 확산 자동 회귀 아키텍처: 개별 토큰에 완전히 작별을 고하고 연속 음성 표현을 사용하여 외부 업컨버터 없이도 48kHz 기본 고음질 음질을 직접 생성합니다. [2장: 30개 언어 + 9개 방언] 0:55 - 30개 글로벌 언어에 대한 기본 지원, 샘플 직접 출력 없음(언어 태그 필요 없음) 1:31 - 오픈 소스 업계에서 기본적으로 거의 지원되지 않는 "민난"을 포함하는 9가지 중국어 방언의 심층 최적화 [3장: 음성 디자인(소리를 생성하는 순수 텍스트)] 1:56 - 순수한 텍스트 설명(예: 성별/감정/말하는 속도)은 오디오를 참조하지 않고 허공에서 새로운 음성을 생성할 수 있습니다. 2:19 - 강력한 상황 인식을 통해 텍스트 설명은 전용 믹서입니다. [4장: 듀얼 트랙 음성 복제] 2:53 - 제어 가능한 복제(16kHz 오디오 + 텍스트): 감정 및 음성 속도를 유연하게 변경, 가상 앵커에 적합 3:22 - 궁극적인 복제(오디오 + 축어): 오디오 연속 기반, 모든 호흡 정지에 대한 100% 충실도, 음성 복구에 적합 [5장: Tokenizer Free의 자연스러운 느낌] 3:53 - 기존의 강제 분할로 인한 음향 세부 정보 손실에 작별 인사 토큰 4:18 - 연속 전위 공간에서 직접 작동하여 파형이 부드럽고 자연스러워 인간 감정의 미묘한 기복을 완벽하게 유지합니다. [6장: AudioVAE V2 네이티브 업스케일링] 4:46 - 비대칭 코덱 설계, 모델 내에서 16kHz ~ 48kHz 초해상도 직접 완성 5:12 - 외부 업샘플러 폐기, 유지 관리 비용 및 엔터프라이즈 배포 실패 지점 감소 [7장: 엔드투엔드 5단계 추론] 5:22 - 입력 → 이해(MiniCPM-4) → 생성(확산 자동 회귀) → 렌더링(AudioVAE V2) → 출력(0.13 RTF)을 통해 완전한 음향 운영체제 생성 [8장: 3세대 도약 진화] 5:56 - 매개변수가 0.5B에서 2B로 업그레이드되고, 30개 언어로 완전히 확장되었으며 모든 기능 지원 6:42 - 궁극의 성능을 보장하기 위해 LM 토큰 비율을 6.25Hz로 안정적으로 낮췄습니다. [9장: 하드코어 벤치마크 데이터] 6:50 - Seed-TTS: 2B 모델(WER 1.84/SIM 75.3)이 7B 상위 오픈 소스 모델을 능가합니다. 7:29 - 30 언어 ASR(내부 테스트): 글로벌 평균 오류율은 1.68%에 불과합니다. 8:13 - InstructTTSEval: 세 가지 주요 감정 명령 지표가 목록을 지배하며 깊은 의미론적 이해를 입증합니다. [10장: 매우 빠른 추론 및 배포] 8:46 - 속도 성능: PyTorch 표준 0.30 RTF; Nano-vLLM은 놀라운 0.13 RTF로 가속화됩니다. 9:07 - vLLM-Omni 높은 처리량 배포를 지원하여 완벽한 도킹을 위한 OpenAI 호환 API를 제공합니다. [11장: 미세 조정 및 오픈 소스 생태계] 9:20 - SFT(심층) 또는 LoRA(라이트) 미세 조정을 수행하여 독점적인 사운드를 생성하는 데 5~10분의 오디오만 사용할 수 있습니다. 10:04 - 커버 server/edge/ComfyUI ecosystem, can run with a minimum of 8GB VRAM 10:43 - Must-test open source TTS options in 2026, highly recommended to go to the official Demo Verify personal scenarios━━━━━━━━━━━━━━━━━━━━━━ 📊 Core data (strictly based on SRT content) ━━━━━━━━━━━━━━━━━━━━━━ • 개발자: OpenBMB 팀 • 라이센스: Apache 2.0(완전 오픈 소스, 상용 가능) • 아키텍처: Diffusion Autoregressive → Tokenizer 무료 • 백본 네트워크: MiniCPM-4 • 매개변수: 2B(20억) • 학습 데이터: 200만 시간 이상의 다국어 음성 • 기본 샘플링 속도: 48kHz(스튜디오 품질, 외부 업컨버터 필요 없음) • 언어: 30개 글로벌 언어 • 방언: 9개 중국어 방언(포함) Hokkien) • VRAM 요구 사항: 최소 ~8GB • LM 토큰 속도: 6.25Hz 추론 속도: 표준 PyTorch: RTF 0.30 Nano-vLLM 가속: RTF 0.13(인간보다 약 7배 빠름) 4가지 주요 기능: 1. 음성 디자인(음성 디자인): 순수 텍스트 설명 → 무에서 소리 생성 2. 제어 가능 복제(제어 가능): 참조 오디오 + 텍스트 → 변경 가능 감정/말 속도 3. Ultimate Clone(Ultimate): 참조 오디오 + 축어 초안 → 완벽한 충실도 지속 4. 제로 샘플 다국어(Zero Shot): 언어 태그 없이 핵심 모듈 자동 식별: LocEnc → TSLM → RALM → LocDiT → AudioVAE V2(16→48kHz) 벤치마크(SRT에 언급된 데이터): Seed-TTS: WER 1.84 / SIM 75.3(2B가 7B Qwen2.5-Omni 승리) 30개 언어 ASR: 글로벌 평균 오류율 1.68% 영어 0.42% / 중국어 0.92% / 아랍어 1.23% / 인도네시아어 1.36% InstructTTSEval: APS 84.2 / DSD 83.2 / RP 71.4(세 가지 모두 최고) ⚠️ 30개 언어 ASR 내부 테스트, 타사 독립적 평가 배포 통합: • Nano-vLLM / vLLM-Omni(고처리량 서버) • ONNX 크로스 플랫폼/Apple Neural Engine • ComfyUI 노드 • OpenAI 호환/v1/오디오/음성 API • LoRA 미세 조정(경량 다중 음색 전환) 3세대 진화: VoxCPM-0.5B(원래 세대): 0.5B / 중국어 및 영어 / 16kHz / 12.5Hz VoxCPM-1.5(안정): 0.8B / 중국어-영어 / 44.1kHz / 6.25Hz VoxCPM2(최신): 2B / 30개 언어 + 9개 방언 / 48kHz / 6.25Hz ━━━━━━━━━━━━━━━━━━━━━ 🎯 고부가가치 애플리케이션 지역━━━━━━━━━━━━━━━━━━━━━ ✅ 가상 앵커: 제어 가능한 복제 + 다중 감정의 즉각적인 전환 ✅ 동적 오디오북: 감정 제어 + 다중 역할 ✅ 역사적 음성 복원: 궁극적인 복제의 충실한 복원 ✅ 음성 지속성: 특정 스타일의 원활한 지속 ✅ 글로벌 제품: 샘플이 없는 30개 언어 ✅ 대만 시장: Hokkien 기본 지원(오픈 소스 전용) ✅ 기업 독점 음성: 5~10분 데이터 → LoRA 미세 조정 → 온라인 ⚠️ GPU 필요(최소 ~8GB VRAM) ⚠️ 음성 디자인 결과는 매번 조금씩 다를 수 있음 ⚠️ 30개 언어 ASR 내부 테스트 데이터의 경우━━━━━━━━━━━━━━━━━━━━━━ 🎬 데모 체험 방법(SRT 기준으로만 언급) ━━━━━━━━━━━━━━━━━━━━━━ 영상 끝 부분의 제안: "공식 데모 페이지로 가서 실행하고 자신만의 사용 시나리오로 시도해 보세요." 🔗 GitHub: https://github.com/OpenBMB/VoxCPM 🤗 HuggingFace: https://huggingface.co/openbmb/VoxCPM2 로컬 배포: pip install voxcpm 데모 스크립트 제안(엄격히 대응) 1. 음성 디자인: "깊은 남성 목소리, 슬프고 느린 말하기" 입력 + 텍스트 → 무에서 효과 관찰 2. 제어 가능한 복제: 16kHz 참조 오디오 제공 → 감정 및 말하기 속도 변경 → 원본 사운드 비교 3. 최종 복제: 참조 오디오 + 축어 스크립트 → 모든 호흡 및 일시정지의 충실도 확인 4. 제로 샘플 다국어: 언어 태그 없음 → 중국어/영어/일본어/프랑스어 텍스트 직접 입력 → 자동 인식 관찰 5. Hokkien 테스트: Hokkien 텍스트 입력 → 방언 품질 확인 무료 자료(참조 오디오): • 5~10초의 명확한 음성을 직접 녹음하세요. • Common Voice https://commonvoice.mozilla.org/(다국어 음성 데이터 세트) • LibriSpeech https://www.openslr.org/12/(영어 음성) #VoxCPM2 #OpenBMB #Speech Synesis #TTS #DiffusionAutoregressive #TokenizerFree #48kHz #음성 디자인 #VoiceDesign #Voice Clone #30 언어 #민난 방언 #중국 방언 #MiniCPM4 #AudioVAE #LoRA #오픈 소스 TTS #Apache2 #VoiceCloning #ZeroShot #VoiceAI 통로 ⚠️ 면책조항 ⚠️ 면책조항 ⚠️ 면책조항 ⚠️ 면책조항 ⚠️ 면책조항 ⚠️ 면책조항 ⚠️ 면책사항 ⚠️ 해당 내용은 OpenBMB 공식 GitHub Repository, HuggingFace 모델 카드 및 기술 문서를 기반으로 합니다. 비공식 원본 문서를 직접 번역한 것입니다. 모든 코드, 모델 가중치, 벤치마크 데이터 및 인용된 콘텐츠의 저작권은 OpenBMB 팀과 오픈 소스 커뮤니티에 속합니다. 일부 벤치마크 테스트는 내부 데이터이며 독립적인 제3자 평가가 아닙니다. 음성 복제 기능 사용 시 현지 법률 및 규정을 준수하시기 바라며, 타인을 사칭하거나 사칭하는 데 사용할 수 없습니다. 기술 구현은 시간에 민감합니다. 궁금하신 점은 공식 Repository를 참고하여 최신 정보를 확인하시기 바랍니다. 🔗 https://github.com/OpenBMB/VoxCPM