大家好,我是萧蓝,一个虚拟广告练习生!这里,给大家带来一个新音乐作品《致敬大师的习作。
第一步,使用Stable Diffusion的图生图功能,生成更多的图片来组织视频素材;
第二步,使用Stable Diffusion来实现图片转字,再用音乐生成模型将文字生成曲子;
第三步,使用剪映将图片素材进行剪辑,并配上音乐进行合成,生成音乐作品。
第一步
使用Stable Diffusion模型来批量图生图
使用Stable Diffusion模型中图生图的功能模块,点击上传 “萧蓝”头像照片,在提示词(Prompt)里分别输入:Van gogh style,Picasso style、Kandinsky style、Bruegel Pieter style、Keith Haring style、Gustav Klimt painting style等字眼文本,点击“生成”按钮。这里主要输入绘画艺术大师(如:梵高、毕加索、康定斯基、彼得·勃鲁盖尔、凯斯·哈林、克里姆特等)的风格绘画,以“萧蓝”头像为原始图片,用不同绘画大师的风格进行图片输出。同时,在Stable Diffusion的下方参数列表中,可以选择调节、生成数量,一次输出多张图片素材。
图1:以“萧蓝”头像用绘画大师的风格输出图片
Stable Diffusion 输入英文提示词效果更佳,且它特有的反向提示词,可让用户规避不希望出现在画面图样或题材图片。
第二步
选择一张图片,在Stable Diffusion图生图模块中,将图片上传后点击“Clip反向图片提示词”按钮,即可获得图片的文本描述。
图2:Stable Diffusion模型图片提示词生成功能
将文本输入或转换到AI音乐生成模型中,如:MusicLM(GoogleAI)或是Mubert AI音乐生成平台,生成一段音乐。
图3:Van Gogh Style的图片转成音乐
这一环节中可以尝试将“图片转文本”和“文本转音乐”的步骤通过APIs的方式结合在一起,当我们上传一张Van Gogh Style转化图片,可直接生成英文描述,再通过调用OpenAI Musical生成音乐。
第三步
调整第一步,模仿不同大师风格图片,可生成更多图片素材,将图片素材导入剪映中,即可在图与图之间进行转场切换。
图4:用剪映来编辑素材形成音乐作品
之后配上音乐。配乐中使用AI自动踩点功能,让画面和音乐配合更有节奏感。音乐中可选择变声的电音功能,会使画面更有电子气息。
通过以上三个步骤,耗时一小时,就生成了新的音乐作品。
下期,我们将介绍,如何从一个2D虚拟人变成一个3D虚拟人。敬请关注哦!
图5:“萧蓝”3D虚拟人形象
更多“虚拟广告练习生”作品敬请期待。欢迎访问销博特平台,用AIGC为虚拟人赋予创作行动力。

