OpenAI的离线音频转文本模型 Whisper 的.NET封装项目

whisper介绍

Open AI在2022年9月21日开源了号称其英文语音辨识能力已达到人类水准的Whisper神经网络,且它亦支持其它98种语言的自动语音辨识。Whisper系统所提供的自动语音辨识(Automatic Speech Recognition,ASR)模型是被训练来运行语音辨识与翻译任务的,它们能将各种语言的语音变成文本,也能将这些文本翻译成英文。

whisper的核心功能语音识别,对于大部分人来说,可以帮助我们更快捷的将会议、讲座、课堂录音整理成文字稿;对于影视爱好者,可以将无字幕的资源自动生成字幕,不用再苦苦等待各大字幕组的字幕资源;对于外语口语学习者,使用whisper翻译你的发音练习录音,可以很好的检验你的口语发音水平。当然,各大云平台都提供语音识别服务,但是基本都是联网运行,个人隐私安全总是有隐患,而whisper完全不同,whisper完全在本地运行,无需联网,充分保障了个人隐私,且whisper识别准确率相当高。.

语言模型文件:https://huggingface.co/ggerganov/whisper.cpp 或者 https://github.com/ggerganov/whisper.cpp

OpenAI的离线音频转文本模型 Whisper 的.NET封装项目

ggml-*.bin则中英文都可以翻译,根据自己对文字的精确要求选择模型,small、medium基本够用。高要求可以使用large,但耗时会多一点。

这么好的一个模型在.NET 社区有很多封装的项目:

  • 跨平台 Whisper.net: https://github.com/sandrohanea/whisper.net

  • Windows 平台的Whisper:https://github.com/Const-me/Whisper

下面我们体验一下这个开箱即用的工具Whisper,从https://github.com/Const-me/Whisper 下周最新的版本:

OpenAI的离线音频转文本模型 Whisper 的.NET封装项目

运行起来,从Hugging Face 下载模型,

OpenAI的离线音频转文本模型 Whisper 的.NET封装项目

选择转化的语言、音频路径、文本类型、文本保存位置,运行一段时间后,打开后就可以看到文本内容了

 OpenAI的离线音频转文本模型 Whisper 的.NET封装项目

实测medium模型:20min音频,大致耗时20~30min,这个效果是很不错了。

OpenAI的离线音频转文本模型 Whisper 的.NET封装项目

可以很容易将这个模型集成到自己开发的系统里。