ShortGPT
综合介绍
ShortGPT是一个开源的AI框架,专为自动化创建YouTube短视频和TikTok内容设计。它简化了视频制作流程,集成了脚本生成、素材获取、语音合成、字幕生成和视频编辑等功能。用户可以通过ShortGPT快速生成多语言视频内容,支持英语、西班牙语、汉语、日语等30多种语言。框架利用AI技术(如OpenAI、EdgeTTS)和素材平台(如Pexels、Bing Image),提供高效的自动化内容创作体验。无论是短视频还是长视频,ShortGPT都能通过其灵活的模块化设计满足多样化需求。用户可选择本地运行或通过Google Colab免费使用,无需复杂安装。
功能列表
- 自动化视频编辑:提供基于大型语言模型(LLM)的视频编辑语言,简化剪辑流程。
- 脚本与提示生成:内置脚本和提示模板,辅助用户快速生成视频内容创意。
- 多语言语音合成:支持30多种语言的语音生成,包括英语、西班牙语、汉语、日语等。
- 自动字幕生成:为视频自动生成精准的字幕,提升内容可访问性。
- 素材自动获取:从Pexels和Bing Image获取背景图片和视频素材。
- 视频翻译与配音:支持将视频内容翻译并配音成目标语言,生成全新语言版本。
- 长期数据存储:通过TinyDB保存自动化编辑变量,确保创作过程的连续性。
- YouTube元数据生成:自动生成视频标题、描述等元数据,优化上传流程。
使用帮助
安装与运行
ShortGPT支持两种运行方式:本地运行和Google Colab云端运行。以下是详细步骤:
本地运行
- 安装Docker:
- 确保系统已安装Docker。Windows/Mac用户可从Docker官网下载安装,Linux用户可使用包管理器(如
apt install docker.io
)。 - 验证安装:运行
docker --version
,确认版本信息。
- 确保系统已安装Docker。Windows/Mac用户可从Docker官网下载安装,Linux用户可使用包管理器(如
- 克隆ShortGPT仓库:
- 打开终端,运行以下命令克隆项目:
git clone https://github.com/RayVentura/ShortGPT.git cd ShortGPT
- 打开终端,运行以下命令克隆项目:
- 创建环境变量文件:
- 在项目根目录创建
.env
文件,填入必要的API密钥(如OpenAI、Pexels等)。具体格式参考installation-notes.md
。
- 在项目根目录创建
- 构建与运行Docker容器:
- 运行以下命令构建Docker镜像:
docker build -t short_gpt_docker:latest .
- 启动容器,映射端口31415:
docker run -p 31415:31415 --env-file .env short_gpt_docker:latest
- 成功运行后,打开浏览器访问
http://localhost:31415
,进入Gradio界面。
- 运行以下命令构建Docker镜像:
Google Colab运行
- 访问官方提供的Google Colab笔记本:
- 链接:Google Colab Notebook。
- 按顺序运行笔记本中的代码单元:
- 点击每个单元格,按“播放”按钮或使用快捷键
Shift+Enter
运行。 - 无需本地安装,适合快速体验。
- 点击每个单元格,按“播放”按钮或使用快捷键
核心功能操作
- 创建短视频(ContentShortEngine):
- 在Gradio界面选择“ContentShortEngine”模块。
- 输入视频主题或使用内置提示生成脚本。
- 选择目标语言(如英语、汉语)进行语音合成。
- 系统自动从Pexels获取相关背景素材,或上传自定义素材。
- 设置视频时长和风格,点击“生成”即可渲染短视频,自动包含YouTube元数据(如标题、标签)。
- 长视频制作(ContentVideoEngine):
- 选择“ContentVideoEngine”模块,适合制作5分钟以上视频。
- 输入脚本或让AI生成,系统会自动匹配背景素材和音频。
- 调整字幕样式和时间轴,确保内容同步。
- 输出视频支持高清渲染,适合YouTube上传。
- 视频翻译与配音(ContentTranslationEngine):
- 上传视频文件或输入YouTube链接。
- 选择目标语言(如从英语到日语)。
- 系统自动转录音频、翻译内容,并使用EdgeTTS生成新语言配音。
- 生成的视频包含翻译后的字幕,可直接下载或分享。
- 自定义编辑(EditingEngine):
- 使用JSON格式的编辑标记语言(Editing Markup Language)自定义视频剪辑。
- 例如,设置特定时间点的素材切换、字幕显示或水印添加。
- 示例JSON配置:
{ "clips": [ {"start": 0, "end": 5, "asset": "video1.mp4", "caption": "欢迎体验ShortGPT"}, {"start": 5, "end": 10, "asset": "image1.jpg", "caption": "AI自动化创作"} ], "watermark": "MyBrand" }
- 上传配置后,系统自动渲染视频。
注意事项
- API密钥:确保
.env
文件中配置了OpenAI、Pexels等API密钥,否则部分功能可能不可用。 - 网络要求:本地运行需要稳定网络连接以获取素材。
- 硬件要求:建议至少8GB内存和4核CPU以确保流畅运行。
- 调试:如遇问题,查看
installation-notes.md
或加入官方Discord社区寻求帮助。
应用场景
- YouTube短视频创作者:
- 快速生成15-60秒的短视频,自动匹配热门话题和背景素材,适合快速发布内容吸引观众。
- TikTok内容制作:
- 通过AI生成创意脚本和多语言配音,制作适合TikTok潮流的短视频,提升账号曝光。
- 教育视频制作:
- 教师可使用ShortGPT制作教学视频,自动生成字幕和多语言配音,方便全球学生学习。
- 营销视频制作:
- 企业可快速生成产品宣传视频,自动添加品牌水印和字幕,提高营销效率。
- 多语言内容本地化:
- 将现有视频翻译并配音为目标语言,扩展国际市场受众。
QA
- ShortGPT支持哪些语言?
- 支持英语、西班牙语、汉语、日语等30多种语言,具体由EdgeTTS和ElevenLabs提供支持。
- 本地运行需要哪些前置条件?
- 需要安装Docker,并配置OpenAI、Pexels等API密钥。详细步骤见
installation-notes.md
。
- 需要安装Docker,并配置OpenAI、Pexels等API密钥。详细步骤见
- Google Colab运行有什么优势?
- 无需本地安装,免费使用,适合快速测试或无Docker环境的设备。
- 如何获取素材?
- 系统自动从Pexels和Bing Image获取图片和视频,也支持用户上传自定义素材。
- 可以自定义视频风格吗?
- 可以,通过JSON格式的编辑标记语言调整剪辑、字幕和水印等。