pyVideoTrans是一个开源免费视频翻译和字幕配音软件,可将一种语言的视频翻译为指定语言的视频,自动生成和添加该语言的字幕和配音。比如有一个英文电影,发音是英文,没有英文字幕,也没有中文字幕,使用这个工具处理后,可以转成带中文字幕,并且带有中文配音的电影。
(1)语音识别支持 faster-whisper
模型 openai-whisper
模型 和 GoogleSpeech
zh_recogn阿里中文语音识别模型
.
(2)文字翻译支持 微软翻译|Google翻译|百度翻译|腾讯翻译|ChatGPT|AzureAI|Gemini|DeepL|DeepLX|离线翻译OTT
(3)文字合成语音支持 Microsoft Edge tts
Google tts
Azure AI TTS
Openai TTS
Elevenlabs TTS
自定义TTS服务器api
GPT-SoVITS
clone-voice ChatTTS-ui
(4)允许保留背景伴奏音乐等(基于uvr5)
(5)支持的语言:中文简繁、英语、韩语、日语、俄语、法语、德语、意大利语、西班牙语、葡萄牙语、越南语、泰国语、阿拉伯语、土耳其语、匈牙利语、印度语、乌克兰语、哈萨克语、印尼语、马来语、捷克语
除了这个核心功能,还附带其他一些工具:
- 语音识别文字:可将视频或者音频中的声音识别为文字,并导出为字幕文件。
- 音频视频分离:可将视频分离为一个无声视频文件和一个音频文件
- 文字字幕翻译:可将文字或srt字幕文件,翻译为其他语言的文字或字幕
- 视频字幕合并:可将字幕文件嵌入到视频中
- 音视字幕合并:可将视频文件、音频文件、字幕文件三者合成为一个文件
- 文字合成语音:可将任意文字或srt文件,合成为一个音频文件。
- 人声背景分离:可将视频里的人类声音和其他声音分开为2个音频文件
- 下载油管视频:可在线下载Youtube视频
工作原理
将原始视频先使用 ffmpeg 分离出音频文件和无声mp4,然后利用 openai-whisper/faster-whisper模型识别出音频中的人声,并保存为srt字幕,接着将srt字幕翻译为目标语言并保存为srt字幕文件,再将翻译结果合成为配音音频文件。
接着将配音音频文件、字幕srt文件、原无声mp4合并为一个视频文件,即完成翻译。
主要用途和使用方式
【翻译视频并配音】将视频中的声音翻译为另一种语言的配音,并嵌入该语言字幕
【音频或视频转为字幕】将音频、视频文件中的人类说话声,识别为文字并导出为srt字幕文件
【批量字幕创建配音】根据本地已有的srt字幕文件创建配音,支持单个或批量字幕
【批量字幕翻译】将一个或多个srt字幕文件翻译为其他语言的字幕文件
【音频、视频、字幕合并】音频文件、视频文件、字幕文件合并为一个视频文件
【从视频中分离出音频】从视频中分离为音频文件和无声视频
【下载油管视频】可从youtube上下载视频
预打包版本(仅win10/win11可用,MacOS/Linux系统使用源码部署)
使用pyinstaller打包,未做免杀和签名,杀软可能报毒,请加入信任名单或使用源码部署
[点击去下载预打包版,解压到无空格的英文目录后,双击 sp.exe
解压到英文路径下,并且路径中不含有空格。解压后双击 sp.exe (若遇到权限问题可右键使用管理员权限打开)
注意:必须解压后使用,不可直接压缩包内双击使用,也不可解压后移动sp.exe文件到其他位置
v1.89完整包下载
从123网盘下载: https://www.123pan.com/s/03Sxjv-1oyB3.html
从百度网盘下载: https://pan.baidu.com/s/1AEWUG_K_AJwLygymIb8LNQ?pwd=4m1r
MacOS源码部署
(1)打开终端窗口,分别执行如下命令
执行前确保已安装 Homebrew,如果你没有安装 Homebrew,那么需要先安装
执行命令安装 Homebrew:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
安装完成后,执行:
eval $(brew --config)
brew install libsndfile
brew install ffmpeg
brew install git
brew install python@3.10
继续执行
export PATH="/usr/local/opt/python@3.10/bin:$PATH"
source ~/.bash_profile
source ~/.zshrc
(2)创建不含空格和中文的文件夹,在终端中进入该文件夹。
(3)终端中执行命令 git clone https://github.com/jianchang512/pyvideotrans
(4)执行命令 cd pyvideotrans
(5)继续执行 python -m venv venv
(6)继续执行命令 source ./venv/bin/activate
,执行完毕查看确认终端命令提示符已变成已(venv)
开头,以下命令必须确定终端提示符是以(venv)
开头
执行 pip install -r requirements.txt --no-deps
,如果提示失败,执行如下2条命令切换pip镜像到阿里镜像
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip config set install.trusted-host mirrors.aliyun.com
然后重新执行 如果已切换到阿里镜像源,仍提示失败,请尝试执行 pip install -r requirements.txt --ignore-installed --no-deps
(7)python sp.py
打开软件界面
Linux下源码部署
(1)CentOS/RHEL系依次执行如下命令安装 python3.10
sudo yum update
sudo yum groupinstall "Development Tools"
sudo yum install openssl-devel bzip2-devel libffi-devel
cd /tmp
wget https://www.python.org/ftp/python/3.10.4/Python-3.10.4.tgz
tar xzf Python-3.10.4.tgz
cd Python-3.10.4
./configure — enable-optimizations
sudo make && sudo make install
sudo alternatives — install /usr/bin/python3 python3 /usr/local/bin/python3.10
sudo yum install -y ffmpeg
(2)Ubuntu/Debian系执行如下命令安装python3.10
apt update && apt upgrade -y
apt install software-properties-common -y
add-apt-repository ppa:deadsnakes/ppa
apt update
sudo apt-get install libxcb-cursor0
apt install python3.10
curl -sS https://bootstrap.pypa.io/get-pip.py | python3.10
pip 23.2.1 from /usr/local/lib/python3.10/site-packages/pip (python 3.10)
sudo update-alternatives --install /usr/bin/python python /usr/local/bin/python3.10
sudo update-alternatives --config python
apt-get install ffmpeg
打开任意一个终端,执行 python3 -V
,如果显示 “3.10.4”,说明安装成功,否则失败
(1)创建个不含空格和中文的文件夹, 从终端打开该文件夹。
(2)终端中执行命令 git clone https://github.com/jianchang512/pyvideotrans
(3)继续执行命令 cd pyvideotrans
(4)继续执行 python -m venv venv
(5)继续执行命令 source ./venv/bin/activate
,执行完毕查看确认终端命令提示符已变成已(venv)
开头,以下命令必须确定终端提示符是以(venv)
开头
(6)执行 pip install -r requirements.txt --no-deps
,如果提示失败,执行如下2条命令切换pip镜像到阿里镜像
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip config set install.trusted-host mirrors.aliyun.com
然后重新执行,如果已切换到阿里镜像源,仍提示失败,请尝试执行 pip install -r requirements.txt --ignore-installed --no-deps
(7)如果要使用CUDA加速,分别执行
pip uninstall -y torch torchaudio
pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install nvidia-cublas-cu11 nvidia-cudnn-cu11
(8)linux 如果要启用cuda加速,必须有英伟达显卡,并且配置好了CUDA11.8+环境,请自行搜索 “Linux CUDA 安装”
(9)python sp.py
打开软件界面
猜你喜欢
本站资源仅供下载者学习技术,版权归资源原作者所有,请在下载后24小时之内自觉删除。
本站资源仅供下载者学习IT编程开发技术,请遵守国家法律法规,严禁用于非法用途。
若作商业用途,请购买正版,由于未及时购买正版发生的侵权行为,与本站无关。
如您是版权方,本站源码有侵犯到您的权益,请邮件联系331752841@qq.com 删除,我们将及时处理!