AI & Machine Learning

使用OpenAi的Wisper模型免费自建字幕生成工具

做自媒体,在各个平台发布视频,制作字幕是一直都是一件非常费时费力的工作。不管你是做内嵌的字幕,还是外挂字幕,都需要花费较长的时间。所以我花了几天的时间,以OpenAi的Whisper模型为基础,利用Gradio自己开发了一个AI小工具。可以自动识别语音文件或者视频文件,并自动生成srt字幕文件。甚至可以直接通过youtube的视频链接,生成字幕。

今天就把这个工具免费分享给大家。

下载地址:【whisper-subtitle

Github地址:【whisper-subtitle

这个工具在windows或者Linxu或者mac系统上都可以使用,但是需要提前安装python和conda。如果不了解如果安装python和conda,可以参考我的另一篇文章:【如何在Ubuntu22.04中安装Git, Conda和Python

下面我会分别讲述在windows系统和Linux系统中的安装步骤

在Windows系统中的安装步骤

因为项目需要用到开源多媒体管理工具,因此需要先安装ffmpeg,我前往ffmpeg官网进行下载【ffmpeg/download.html

把下载的文件解压到你想要存放ffmpeg的目录当中。然后将ffmpeg/bin目录添加到windows的path环境变量当中

下一步,我们把项目文件下载下来,把下载的压缩包存放在你想要保存项目的目录中,我把他存放在了 D:/AiProjects下面。

下载地址:【whisper-subtitle

Github地址:【whisper-subtitle

然后将文件解压到当前文件夹。

这时会生成一个新的文件夹whisper-subtitle,我们进入这个文件夹,可以看到如下三个文件,这就表示我们解压成功了。

后面的操作我们在命令终端完成,我们打开Anaconda Powershell Prompt窗口(如果没有安装conda,可以直接打开Windows cmd窗口),进入我们刚刚创建的whisper-subtitle目录

【可选】然后输入如下conda命令,创建一个虚拟运行环境 (如果没有安装conda,跳过这一步)

conda create --name whisper-subtitle python=3.10 -y

【可选】看到上面的输出,就表示虚拟运行环境创建成功,然后我们用下面的命令激活运行环境,运行后,可以看到提示符前面显示whisper-subtitle字样,就表示当前是在whisper-subtitle运行环境下执行了。(如果没有安装conda,跳过这一步)

conda activate whisper-subtitle

然后在当前的环境下,安装Pytorch,因为我使用的使NVIDIA显卡,因此我要安装pytorch的CUDA版本

拷贝这串命令,并在命令终端执行

确保当前在whisper-subtitle的目录下,执行如下命令,进行程序包安装。

pip install -r requirements.txt -U

看到下面这样的输出结果,就表示我们软件包安装成功了。

安装成功后,执行下面的命令,启动程序。

python app-ui.py

第一次启动需要加载whisper模型,我采用的是whisper几个模型当中较大的一个medium,所以加载需要一点儿时间。应用启动成功后,可以看到如下输出内容。

拷贝程序输出的网址,在浏览器中打开。就可以看到如下的程序页面了。到这一步,我们的安装就全部完成了。

在Linux中的安装步骤(以Ubuntu22.04为例)

首先下载应用程序压缩包,并把它放在想要存放项目的目录中

然后用下面的命令,把压缩包解压

unzip whisper-subtitle.zip

解压后,进入这个目录

cd whisper-subtitle

【可选】用conda创建并激活虚拟运行环境

conda create --name whisper-subtitle python=3.10 -y
conda activate whisper-subtitle

安装ffmpeg多媒体处理的python Api包

sudo apt install ffmpeg

安装应用程序包

pip install -r requirements.txt -U

启动应用程序

python app-ui.py

在程序运行的输入中,可以看到一个地址,拷贝这个地址,并在浏览器中打开,就可以看到这个工具的操作页面了。

为本地视频生成视频字幕

文件类型下拉框中有三个选项,分别是音频文件,视频文件,或者是youbute的视频地址,根据你要生成字幕的源文件,选择其中一种。

根据你选则的文件类型,上传相应的音频或者视频问题。

文件成功上传后,可以点击底部的“开始生成字幕”按钮,启动字幕生成。字幕生成后,在右侧的输出文本框中可以看到生成的字幕文件的内容,底部的按钮可以直接下载生成好的字幕文件。

为Youtube视频生成字幕

这个工具支持直接输入youtube的视频地址,而生成视频的字幕文件。

在顶部下拉框中选择Youtube url,然后在youtube url录入框中输入你要生成字幕文件的视频地址,然后点击“获取Youtube音频”按钮

音频获取成功后,在下方会显示获取的音频信息

然后点击开始生成字幕,就可以进行字幕生成了。和通过本地文件生成字幕一样,在右侧的窗口中可以显示生成的字幕文件内容,点击下载按钮就可以下载字幕文件。

工具的安装和使用,就介绍到这里,欢迎大家下载尝试。如果有任何问题,欢迎留言交流,谢谢!

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注