【.NET】使用Whisper.net实现录音转文本

前言：上一篇文章写了关于如何录音，这篇咱们做个升级，让录音内容转为文本。废话不多说，直接上手，以下正文：

1、新建一个控制台项目，引用CommandLineParser和Whisper.net.

2、新建Options实体类，用于提供使用模型的一些参数

public class Options    {        /// <summary>        /// 指令类型        /// </summary>        [Option('t', "command", Required = false, HelpText = "运行指令 (lang-detect, transcribe 或 translate)", Default = "transcribe")]        public string Command { get; set; } = "transcribe";
        /// <summary>        /// 音频文件，默认要存放bin目录下        /// </summary>        [Option('f', "file", Required = false, HelpText = "需要处理的音频文件", Default = "test.mp3")]        public string FileName { get; set; }
        /// <summary>        /// 语言，默认自动选择        /// </summary>        [Option('l', "lang", Required = false, HelpText = "语言", Default = "auto")]        public string Language { get; set; } = "chinese";
        /// <summary>        /// 模型文件，默认也存在在bin同级目录下        /// </summary>        [Option('m', "modelFile", Required = false, HelpText = "使用的模型的文件名", Default = "ggml-base.bin")]        public string ModelName { get; set; } = "ggml-base.bin";
        /// <summary>        /// 模型类型        /// </summary>        [Option('g', "ggml", Required = false, HelpText = "根据模型类型，验证是否存在模型文件，不存在则下载", Default = GgmlType.Base)]        public GgmlType ModelType { get; set; }= GgmlType.Base;    }

3、ggml模型类别枚举参考：

public enum GgmlType{        Tiny,        TinyEn,        Base,        BaseEn,        Small,        SmallEn,        Medium,        MediumEn,        LargeV1,        Large    }

它们会对应在线的模型，会根据需要自动下载。在线模型文件参考：

【.NET】使用Whisper.net实现录音转文本

模型地址：

https://huggingface.co/sandrohanea/whisper.net/tree/main/classic

4、验证模型文件不存在，则下载

if (!File.Exists(opt.ModelName))            {                Console.WriteLine($"准备下载模型：{opt.ModelName}");                using (var modelStream = await WhisperGgmlDownloader.GetGgmlModelAsync(opt.ModelType))                {                    using (var fileWriter = File.OpenWrite(opt.ModelName))                    {                        await modelStream.CopyToAsync(fileWriter);                    }                }            }

上面代码下载没进度提示，稍微改造下：

var bytesRead = 0;                            var buffer = new byte[8192]; // 8KB 的缓冲区                            var lastUpdateTime = DateTime.Now; // 记录上次更新的时间
                            int bytesJustRead;                            while ((bytesJustRead = await modelStream.ReadAsync(buffer, 0, buffer.Length)) > 0)                            {                                await fileWriter.WriteAsync(buffer, 0, bytesJustRead);                                bytesRead += bytesJustRead;
                                // 检查是否已经过去了1秒                                if ((DateTime.Now - lastUpdateTime).TotalSeconds >= 1)                                {                                    // 将已下载的字节数转换为MB                                    double downloadedMB = bytesRead / 1024.0 / 1024.0;
                                    // 将光标移回到上一行的开始                                    Console.SetCursorPosition(0, Console.CursorTop - 1);
                                    // 使用 \r 来覆盖当前行并显示已下载的MB                                    Console.WriteLine($"已下载: {downloadedMB:0.00} MB ({downloadedMB / 1024.0} GB)\r");
                                    // 更新上次更新的时间                                    lastUpdateTime = DateTime.Now;                                }                            }

5、新建音频转文本的处理函数，具体内容看代码和有关注释：

static async Task Audio2Text(Options opt)        {            // 从给定的模型名称路径创建一个 WhisperFactory 实例            using var factory = WhisperFactory.FromPath(opt.ModelName);
            var builder = factory.CreateBuilder()                .WithLanguage(opt.Language);
            // 如果值为 "translate"，则在构建器中启用翻译功能            if (opt.Command == "translate")            {                builder.WithTranslate();            }
            using var processor = builder.Build();
            // 打开一个文件流来读取由 opt.FileName 指定的音频文件            using var fileStream = File.OpenRead(opt.FileName);
            // 使用处理器异步处理音频文件。对于处理器返回的每个段（segment），它将段的开始时间、结束时间和文本打印到控制台。            await foreach (var segment in processor.ProcessAsync(fileStream, CancellationToken.None))            {                Console.WriteLine($"{segment.Start} ==> {segment.End} : {segment.Text}");            }        }

6、创建一个检测语言的方法：

void LanguageIdentification(Options opt)        {            // 使用 File.ReadAllBytes 方法将模型文件读取到内存中。            var bufferedModel = File.ReadAllBytes(opt.ModelName);
            // 多个任务可以使用同一个工厂来创建处理器            using var factory = WhisperFactory.FromBuffer(bufferedModel);
            // 使用工厂创建一个新的构建器，并设置其语言            var builder = factory.CreateBuilder()               .WithLanguage(opt.Language);
            using var processor = builder.Build();
            // 打开一个文件流来读取由 opt.FileName 指定的音频文件            using var fileStream = File.OpenRead(opt.FileName);
            // 使用 WaveParser 类来解析音频文件            var wave = new WaveParser(fileStream);
            // 使用 WaveParser 的 GetAvgSamples 方法获取音频文件的平均样本            var samples = wave.GetAvgSamples();
            // 使用处理器的 DetectLanguage 方法检测音频样本中的语言            var language = processor.DetectLanguage(samples, speedUp: true);            Console.WriteLine("Language is " + language);        }

processor.DetectLanguage(samples, speedUp: true) 的speedUp说明：

当speedUp为true时，使用whisper_pcm_to_mel_phase_vocoder_with_state方法进行处理。这个方法可能使用了phase vocoder技术，这是一种在不改变音高的情况下改变音频速度的技术。

当speedUp为false时，使用whisper_pcm_to_mel_with_state方法进行处理。这个方法可能是一个更传统或基本的方法来从PCM数据转换到Mel频谱。

【.NET】使用Whisper.net实现录音转文本

7、根据指令，执行内容

switch (opt.Command)            {                case "lang-detect":                    LanguageIdentification(opt);                    break;                case "transcribe":                case "translate":                    await Audio2Text(opt);                    break;                default:                    Console.WriteLine("未知指令类型");                    break;            }

8、制作一个录音文件备用。录音教程，可以参考之前文章：

https://mp.weixin.qq.com/s/vAZUyuT5F_S5Oee-BkV_dw

备注：录制音频需要使用16KHZ，可在链接文章內的录音部分代码中，新增以下参数：

waveIn.WaveFormat = new WaveFormat(16000,16,1);

如果需要录制系统音频，可以使用：

using var waveIn = new WasapiLoopbackCapture();

我录制了个系统音频，网络上随便找了一个频道进行播放其中一小段，然后录制成音频：

https://www.ximalaya.com/sound/565311273

【.NET】使用Whisper.net实现录音转文本