基于 GPT-SoVITS 的智能语音教学系统
比赛项目复盘,按面试追问的顺序写:为什么选 GPT-SoVITS、教学语料怎么收集和清洗、微调参数怎么定、服务怎么部署到线上。
语料那一段是重点:TTS 的效果有一半取决于清洗,UVR5 分离人声、按音量切分、去噪这几步比调参更能决定成败。
项目介绍:针对教学场景,基于开源TTS 模型使用教学领域语料微调优化,使用FastAPI 框架搭建的云端微调大模型服务,开发MVVM 架构的Android 移动端APP 作为交互入口,开发STM32 单片机的智能教学音箱实现本地语音交互,具备教学场景对话功能与PPT 有声课件自动生成。
我的项目职责:教学场景语料收集与模型微调;用FastAPI 构建大模型云端服务;Android APP 开发。
项目介绍
这个项目是我参加比赛时做的项目,我们团队有三人,我在其中是负责全栈开发以及和另一个同学一起负责模型的训练。项目目标是做一个面向教学场景的AI语音教学工具,帮助老师节约做PPT的时间以及辅助学生自学。模型方面,基础模型我们选择的是Github上的一个热门开源项目GPT-SoVITS,有50多K,然后我负责部分语料以及做相应的微调;接着用 FastAPI 简单搭建了后端接口,用Java开发了 一个原生的Android 移动端 APP,整个项目最后实现的功能就是学生可以在APP上和AI进行一个教学答疑,老师能够上传教案,生成 有声PPT ,原本预计实现边缘模型的部署,也就是把模型集成到音箱里,但受限于时间精力最后没有实现。
为什么选择GPT-SoVITS作为基础模型?
基础模型选型主要由另一位同学主导,但我大概知道这个项目的优势,结合我们的教学场景需求,核心原因有三点:第一,开源生态成熟,GPT-SoVITS提供了全套开发工具(含数据处理、标注、微调、推理模块),我们作为比赛项目,能快速复用工具链,节省开发时间;第二,SoVITS包含 HuBERT 架构相关模块,能够捕捉小语种、方言的语音特征;第三,轻量性与效果平衡,该模型基础版本体量适中(50多K参数),我们团队的设备就能完成微调,同时合成语音的自然度、清晰度在开源TTS模型中表现突出,能满足教学场景对语音质量的要求。
你收集了什么教学语料。语料的规模(小时数/文本量)是多少?你如何处理语料中的噪声?请具体说明清洗流程。你使用什么工具或方法进行语料标注?标注一致性如何保证?
收集的语料主要是教学场景对话,比如从B站的授课视频里面分离出教学音频,还有从网上找小语种、方言的语音数据集。我个人从B站上爬取了十多个小时的音频,然后还负责找粤语的数据集。
GPT-SoVITS提供了全套工具,清洗语料的过程是先用UVR5从音频中分离出干净的人声,然后用剪辑软件调整音频的音量大小,把音量过大的音频消除避免模型学到失真的特征,然后切割音频。音频切分用的也是GPT-SoVITS工具,因为是一句话生成音频嘛,所以要按一句话进行切割,时长大概5秒左右。
threshold:音量小于这个值视作静音的备选切割点
min_length:每段最小多长,如果第一段太短一直和后面段连起来直到超过这个值,根据显存大小调整,显存越小调越小。
min_interval:最短切割间隔,根据音频的平均间隔调整,如果音频太密集可以适当调低。
max_sil_kept:切完后静音最多留多长,影响句子的连贯性。
如果有噪声再降噪,再手动对音频按情感分类。最后就是打标。
基于GPT-SoVITS,你具体微调了哪些方向?
微调核心围绕“适配教学场景需求”展开,主要有三个方向:一是教学场景风格适配,针对教师讲解的语气(清晰、平缓、有节奏感)和课堂对话的自然感进行微调,让合成语音贴合真实教学氛围,避免生硬;二是学科术语发音优化,重点微调了数学、物理、英语等学科高频术语的发音,解决基础模型对专业词汇发音不准的问题;三是方言教学适配,考虑到部分地区教学需求,补充了粤语的教学语料进行微调,借助GPT-SoVITS的Hubert特征工程优势,提升方言教学语音的合成效果。
你如何评估微调后的模型效果?
我们考虑进行一个严格MOS测试,但是找不到足够的测试人员就没做这部分,经过小部分的试用,老师和学生都认为都认为语音生成效果比较好。
微调的原理
阶段 1:SoVITS 模块微调(音色优先)
- 目标:冻结通用语义能力,专注学习目标说话人的声纹与声学细节。
- 原理:SoVITS 基于 VITS 改进,通过 VAE 将语音映射到隐空间,分离语义与音色;微调时用少量目标数据更新声纹相关参数,让模型学会从语义 Token 重建目标音色的波形。
- 关键操作:固定 HuBERT 与语义编码器,仅训练 VAE 解码器、归一化流与对抗判别器,通常训练 8–15 个 epoch 即可收敛。
阶段 2:GPT 模块微调(韵律适配) - 目标:让自回归模型学习目标说话人的韵律模式,使生成的语义 Token 携带个性化节奏与情感。
- 原理:输入文本(音素序列)+ 参考音频的语义 Token,通过 Transformer 自回归预测目标语义 Token 序列,微调时更新 Transformer 权重,优化语义 - 韵律的映射精度。
- 关键操作:冻结 SoVITS 的声纹模块,仅训练 GPT 的注意力层与全连接层,适配目标说话人的韵律习惯。
FastAPI服务部署在哪里(云服务器?)
我们团队缺少服务器资源,所以服务都是部署在本地,使用的时候就通过内网穿透使用。
TTS模型推理通常较慢。你采用了哪些优化策略请说明具体的实现方式。
主要是预加载模型到内存里。
你的API接口设计是否支持流式响应(即边生成边返回)?如果不支持,如何处理长文本生成时的客户端超时问题?
不支持,通过增加等待时间。
你提到MVVM架构,请你介绍一下
第一层是View,就是视图界面。
第二层是ViewModel,是中间桥梁,连接 View 和 Model。和 View 有双向数据绑定 —— 界面输入的内容会自动同步到 ViewModel,ViewModel 的数据更新了,界面也会自动刷新,不用手动写代码去更新 UI。同时自动管理页面生命周期,比如屏幕旋转的时候,数据不会丢。会处理和 UI 相关的业务逻辑,比如调用 FastAPI 接口、处理语音合成的返回结果,还能
第三层是Model,就是数据层,负责数据的获取和存储,比如我项目里封装的 FastAPI 网络请求、本地课件的保存逻辑。
难点:蓝牙模块、安卓不同版本的权限管理不同
先检查蓝牙权限(区分 Android 12 + 的 BLUETOOTH_CONNECT 权限和低版本的 BLUETOOTH/BLUETOOTH_ADMIN),若未授权则需要动态申请, 每个函数里都需要写这个;
调用 bluetoothAdapter.startDiscovery () 启动后台扫描,这个方法是异步的,系统会通过广播(BluetoothDevice.ACTION_FOUND)返回扫描到的设备。连接成功后初始化输入 / 输出流,启动独立线程(startListening ())持续监听音箱回传数据,用回调(BluetoothDataListener)把数据同步到 APP 界面。数据监听(startListening ()):因为 inputStream.read (buffer) 是阻塞操作,如果放在主线程,会直接导致 ANR(应用无响应)。循环读取蓝牙设备回传的字节流,解析后通过 BluetoothDataListener 回调给主线程更新 UI。
APP的UI用了哪些布局方案(如ConstraintLayout)?
我对前端方面了解较少,Android的UI布局我主要了解了两个。
首先是 LinearLayout(线性布局),核心是按单一方向排列控件—— 要么垂直(vertical)要么水平(horizontal),就是用水平线性布局并排摆的;垂直布局常用来做列表项,比如课件列表里 “标题 + 生成时间” 上下排列。它的优点是简单易上手,适合控件少、布局规整的场景,但缺点也明显,多层嵌套(比如垂直套水平、水平再套垂直)会增加渲染耗时,还容易出现适配问题。
然后是 ConstraintLayout(约束布局),核心是通过 “约束关系” 定位控件—— 每个控件都可以和父布局、其他控件建立关联,比如让 “生成课件按钮” 水平居中,或者让 “进度条” 贴在 “上传按钮” 的下方、左右对齐。它的最大优势是无需嵌套就能实现复杂布局,在页面复杂时比线性布局嵌套效率高。