auto-video-generateor
自动视频生成器,给定主题,自动生成解说视频。用户输入主题文字,系统调用大语言模型生成故事或解说的文字,然后进一步调用语音合成接口生成解说的语音,调用文生图接口生成契合文字内容的配图,最后融合语音和配图生成解说视频。
️⭐️
❤️️喜欢的话,不妨“点石成金”点 Star ⭐️,“携手并进” Fork 一下,你的点⭐️是我的动力,感谢!
视频样例先睹为快
免费并校对:人的本性是天生的吗 | 免费并校对:归去来兮辞 |
default.mp4 |
default.mp4 |
免费并校对:空白效应 | 免费并校对:棘轮效应 |
video.mp4 |
video.mp4 |
体验Demo
-
扫码关注“趣聊机器人”微信公众号,体验该项目的效果:
-
在”趣聊机器人“对话框输入”自动视频生成账密获取“(无引号),获取账号密码。
-
可能生成视频资源速度比较慢,请耐心等待,或者在一段时间后,通过“加载参数”和“加载资源”来加载已经生成好的视频资源。
-
如果图片是文字图片,则可能后台生成图片有异常,用文字图片替代,这种情况则稍后再试试。
-
一定要整个流程跑一遍之后才能修改单个素材资源,跑一遍指的是“一键生成”执行完毕,或各个分步骤逐个执行一遍,特别是“创建记录”这步要执行。
v4. 免费+校对生成
先自动批量合成视频所需素材,然后校对用以合成视频的文本、语音、图像资源,可以修改或重新生成,直到满意。
使用简要指引
- 生成资源和视频,从零开始,自动生成视频
- 加载参数和资源,快捷加载已有数据,进一步生成视频
- 校对资源和生成,校对文本、语音、图像资源,生成满意视频
免费的自动视频生成
全部用免费的资源实现,体现完整流程和初步效果。
相关文档
千帆ModelBuilder 部分ERNIE系列模型免费开放公告 – 千帆大模型平台 | 百度智能云文档 (baidu.com)
ERNIE-Speed-128K – 千帆大模型平台 | 百度智能云文档 (baidu.com)
如何用GPT直接生成AI绘画? – 知乎 (zhihu.com)
2.8k star! 用开源免费的edge-tts平替科大讯飞的语音合成服务 – 知乎 (zhihu.com)
基于千帆的自动视频生成
基于百度的千帆大模型生成故事和图像,然后进一步生成视频。
相关文档
API列表 – 千帆大模型平台 | 百度智能云文档 (baidu.com)
Python SDK快速入门 – 千帆大模型平台 | 百度智能云文档 (baidu.com)
Stable-Diffusion-XL – 千帆大模型平台 | 百度智能云文档 (baidu.com)
ERNIE-4.0-8K – 千帆大模型平台 | 百度智能云文档 (baidu.com)
极简的自动视频生成
实现这个系统需要多个步骤,包括生成故事文本、分句、语音合成、文生图、生成视频、以及使用Gradio进行交互。
-
步骤 1: 生成故事文本
为了简化,我们先手动创建一个示例故事文本。 -
步骤 2: 分句
使用re
库或自然语言处理工具将文本分句。 -
步骤 3: 语音合成
使用pyttsx3
库或其他语音合成模型进行语音合成。 -
步骤 4: 文生图
使用pillow
库或其他文生图模型生成图片。 -
步骤 5: 生成视频
使用moviepy
库将图片和音频组合成视频。 -
步骤 6: 使用Gradio实现交互
使用gradio
库创建一个简单的交互界面。
资源校对交互页面
校对用以合成视频的文本、语音、图像资源,可以修改或重新生成,直到满意。
使用方法
执行代码
# 参数可选:1 2 3 4 python main.py 4
打开浏览器
交互操作
用户在gradio界面输入主题文字,生成并编辑故事文本,然后生成语音、图片资源,最终合成视频。
注意事项
-
生成视频后会把生成的文本、语音、图片的多媒体材料保存到目录中(默认:mnt/materials/username/code_name)。
-
保存多媒体材料的目录结构样例如下:
code_name │ metadata.json │ story.txt │ video.mp4 │ ├─audio │ audio_100.mp3 │ audio_101.mp3 │ audio_102.mp3 │ audio_103.mp3 │ audio_104.mp3 │ audio_105.mp3 │ audio_106.mp3 │ audio_107.mp3 │ ├─image │ image_100.png │ image_101.png │ image_102.png │ image_103.png │ image_104.png │ image_105.png │ image_106.png │ image_107.png │ ├─resource │ resource_100.json │ resource_101.json │ resource_102.json │ resource_103.json │ resource_104.json │ resource_105.json │ resource_106.json │ resource_107.json │ └─text text_100.txt text_101.txt text_102.txt text_103.txt text_104.txt text_105.txt text_106.txt text_107.txt
todo list
- 设置参数时候语音支持试听
- 设置参数时候文生图提示词支持生成样例图
- 字体支持预览效果
- 资源校对完善切分、合并、增加、删除的操作
- 支持输入故事开始生成视频
- 去除图片里的水印(等比例截取画面、调用去水印接口)
- 写代码注释
- 录制操作视频
Measure
Measure