大数跨境
0
0

Google新的图像风格化工具Whisk免费好玩

Google新的图像风格化工具Whisk免费好玩 路上侠客
2024-12-22
1
导读:Whisk是谷歌实验室(Google Labs)于2024年12月17日发布的一款AI图像生成工具 。它是一种创新的图像生成工具,区别于传统的图像编辑器,其设计初衷是帮助用户进行快速视觉探索,而非像素

原來8月的时候就通过了GoogleImagen 3的测试申请。今天在垃圾箱中找到了。

正好看到说这次Google AI视频有新的重大更新。顺便了解下。

我们再来看下Google新的图像风格化工具Whisk页面。

目前还未开放使用,大家赶紧先拼手速排个队申请下。

申请好了后续第一时间通过邮箱通知开通使用。

补充知识:

一、Whisk简介

Whisk是谷歌实验室(Google Labs)于2024年12月17日发布的一款AI图像生成工具 。它是一种创新的图像生成工具,区别于传统的图像编辑器,其设计初衷是帮助用户进行快速视觉探索,而非像素级的精细编辑 。

该工具允许用户使用其他图像作为提示来生成图像,而不需要冗长的文本提示。并且,用户仍然可以选择使用文字提示来辅助生成图像。Whisk采用谷歌最新一代的Imagen 3图像生成模型,这个模型可以根据文本提示生成高质量图像,在默认配置下,Imagen 3生成分辨率为1024 × 1024的图像,并且可以跟随2×、4×或8×上采样,它能够生成更明亮、构图更好的图像,还可以更准确地渲染更多不同的艺术风格 - 从照片写实主义到印象派,从抽象到动漫 。

目前,Whisk已在美国上线,用户可通过labs.google/whisk 免费尝试并分享反馈,不过其他国家的用户暂时无法直接访问,但大家对Whisk的未来发展充满期待 。

二、Whisk的功能

(一)以图生图功能

多维度图像提示

Whisk的最大亮点是支持以图生图。用户在使用Whisk时,可以为主题、场景和风格分别提供多张图像作为提示,从而生成新的图像。例如,若想生成一个融合了特定主题(如奇幻生物)、场景(如神秘森林)和风格(如水彩画风格)的图像,用户可以分别找到能体现这三个方面的图片上传,Whisk就能根据这些图片的特征生成新的图像 。这种多维度的定制功能让用户能够轻松实现个性化创作,大大简化了图像生成的过程,提高了创作效率 。

自动填充功能

如果用户手头没有合适的图像,Whisk还提供自动填充功能。用户可以点击骰子图标,由谷歌自动填充一些图像作为提示(这些图像似乎也是AI生成的),这一功能有助于用户快速上手使用Whisk进行图像创作 。

(二)文本辅助与优化功能

补充文字细节

除了以图生图外,用户还可以在流程的最后阶段在文本框中输入一些文字,以添加关于目标图像的额外细节,但这并非必需步骤。例如,在生成一幅风景图像时,已经通过图片提示确定了大致的画面风格和场景元素,此时可以通过文字描述添加如“画面中有一只飞翔的白鸽”之类的细节要求 。

图像优化

Whisk生成图像后,会为每张图像生成相应的文本提示。如果用户对生成结果满意,可以选择收藏或下载图像;如果需要进一步调整,则可以通过在文本框中输入更多文字或点击图像并编辑文本提示来进行优化。这种优化方式使得用户可以轻松调整图像效果,以满足自己的需求 。

三、如何使用Whisk

(一)准备工作

访问与可用性

目前,Whisk已在美国上线,用户可通过labs.google/whisk 免费尝试。但对于其他国家的用户,暂时无法直接访问。如果是美国的用户,可以直接打开这个网址开始使用 。

(二)图像生成过程

图像提示输入

在使用Whisk生成图像时,用户可以为主题、场景和风格分别提供多张图像作为提示。比如,要生成一个具有复古风格的咖啡馆场景图像,用户可以找一些复古风格的装饰图片、咖啡馆内部布局图片以及具有复古氛围的人物图片等上传作为提示。当然,如果没有合适的图像,也可以点击骰子图标,利用谷歌自动填充的图像作为提示 。

文字辅助(可选)

在输入图像提示后,用户还可以选择在流程的最后阶段在文本框中输入一些文字,来添加关于目标图像的额外细节。这一步是可选的,如果有特定的细节想要添加到生成的图像中,就可以通过文字描述来实现,例如想要在复古咖啡馆场景中添加一只猫,就可以在文字框中描述这一元素 。

图像生成与结果处理

完成上述步骤后,Whisk会根据用户提供的图像提示(以及可选的文字提示)生成图像,并为每张图像生成相应的文本提示。如果用户对生成的图像满意,可以选择收藏或下载图像;如果对图像效果不太满意,需要进一步调整,则可以通过在文本框中输入更多文字或者点击图像并编辑文本提示来优化图像效果,直到达到自己满意的结果为止 。

四、Whisk的用户评价

(一)正面评价

有趣的创作体验

据早期体验者反馈,在短暂的使用过程中,Whisk带来了有趣的体验。它为用户提供了一种全新的图像生成方式,通过以图生图和简单的文字辅助,用户可以轻松探索各种图像创意。例如,用户可以将不同风格的图片组合起来,生成独一无二的图像,这种创作过程充满了乐趣和惊喜 。

易于迭代修改

虽然生成的图像有时会有些奇怪,但所有生成的内容都易于迭代修改。如果图像生成结果没有达到预期,用户可以方便地通过输入更多文字或者编辑文本提示来调整图像,这种灵活性使得用户在创作过程中能够不断改进图像效果,以满足自己的创意需求 。

(二)有待提升之处

图像可能存在偏差

谷歌在一篇博文中也强调,Whisk可能会出现偏差。由于是基于AI的图像生成,可能会出现与用户预期不完全相符的情况,但好在允许用户编辑底层的提示来进行调整。例如,在生成特定场景的图像时,可能会出现一些元素的位置或者风格上的细微偏差 。

生成时间问题

在高流量时段,生成新图像可能需要等待几秒钟。虽然这个等待时间相对较短,但在一些对效率要求较高的创作场景下,可能会对用户体验产生一定的影响 。

五、Whisk的相关案例

(一)个性化创意图像生成

数字艺术创作

例如,用户想要创作一幅数字毛绒玩具的图像。用户可以找一些可爱动物的图片作为主题提示,一些温馨的室内场景图片作为场景提示,再找一些具有柔软质感或者色彩鲜艳风格的图片作为风格提示,通过Whisk生成图像。如果生成的图像在某些细节上不符合预期,比如玩具的颜色不够鲜艳,就可以通过在文本框中输入“将玩具的颜色变得更鲜艳”等文字来进行优化,最后得到满意的数字毛绒玩具图像,这个图像可以用于数字艺术作品或者数字产品的设计中 。

创意贴纸或珐琅别针设计

假设用户要设计一款珐琅别针,主题是奇幻世界中的神秘生物。用户可以上传一些神话生物的图片作为主题提示,如独角兽、龙等;找一些神秘的森林或者古老城堡的图片作为场景提示;再找一些具有华丽风格或者复古风格的图片作为风格提示。Whisk会根据这些提示生成图像,然后用户可以根据需要进行优化,最后得到的图像可以作为珐琅别针设计的参考或者直接用于制作珐琅别针 。

然后就是music-fx-dj

https://labs.google/fx/tools/music-fx-dj

应该是在原来MusicFX 上的升级

MusicFX乐曲编写

MusicFXDJ

可以自定义和随机生成乐曲的风格。

补充知识:

一、https://labs.google/fx/tools/music - fx - dj是什么

https://labs.google/fx/tools/music - fx - dj是谷歌DeepMind推出的AI音乐生成工具MusicFX DJ的在线体验网址 。MusicFX DJ允许用户像DJ一样打碟创作音乐。它与常规DJ软件不同,常规DJ软件是混合预录音轨,而MusicFX DJ能够即时生成全新的音乐 。用户只需输入他们想要的内容,比如特定的流派、乐器或情绪等,AI便会立即创造出相应的音乐 。例如,用户输入想要的音乐风格为“流行”、乐器为“吉他”、情绪为“欢快”,MusicFX DJ就能根据这些提示生成音乐。

MusicFX DJ是谷歌在音乐创作领域利用人工智能技术的成果。它建立在之前MusicFX的基础上,MusicFX原本就是一个文生音乐平台,用户通过简短描述或情感感受即可生成音乐片段,而MusicFX DJ进一步拓展了创作功能,让用户有更多的控制权和创作方式 。并且这个项目得到了音乐产业的大力支持,多届格莱美奖得主雅各布·科利尔参与了MusicFX DJ的开发,他将这款工具形容为实时声音腻子,能够在不同音乐元素之间创造出意想不到的联系 。目前,这些工具尚未向公众完全开放,只有部分测试者能够使用 。

二、https://labs.google/fx/tools/music - fx - dj的使用方法

(一)输入提示内容

选择音乐元素

用户可以输入特定的音乐风格,如PrecisionBass、IndianClassical和ViolaEnsemble等,MusicFX DJ涵盖了多种音乐风格供用户选择 。同时也可以输入乐器名称,像吉他、钢琴等,或者输入想要表达的情绪,例如欢快、悲伤等 。这些输入内容将作为AI创作音乐的依据。

多提示词混合(新版功能)

新版的MusicFX DJ支持用户叠加提示词,用户可以混合不同的音乐元素,实现类似于DJ叠加音轨的方式。例如,用户可以同时输入“流行风格”、“小提琴乐器”、“激昂的情绪”等多个提示词,并且还能根据自己设定的相对重要性调整混合比例,更精确地控制音乐风格的生成 。

(二)音乐创作过程中的操作

调整音乐风格强度

在音乐生成过程中,用户可以选择多个音乐风格生成音乐,同时能够调整每个风格的强度来控制音乐的节奏和曲调,从而实现像DJ打碟一样的编辑效果 。例如,如果选择了“古典”和“摇滚”两种风格,用户可以通过调整各自的强度,使生成的音乐中古典元素和摇滚元素的占比和表现形式发生变化,进而影响音乐的整体节奏和曲调。

其他音乐元素的控制(新版功能)

新版本提供了更精确的控制,用户可以自由调整乐器,比如改变乐器的音色、演奏方式等。还可以插入音乐间奏,创造出停顿和转折的效果,或者创造低音掉落,增强音乐的节奏感和冲击力。并且在创作过程中能够实时调整音乐速度和音乐调性,例如将音乐从大调调整为小调,或者加快、减慢音乐的速度,以满足多样化的创作需求 。

(三)导出与分享

用户可以导出最长60秒的音乐片段,并与他人分享自己的创作成果。这一功能方便用户将自己创作的音乐展示给朋友、家人或者在社交媒体等平台上分享 。

三、https://labs.google/fx/tools/music - fx - dj的功能特点

(一)实时音乐生成

即时创作

MusicFX DJ的一个显著功能是能够实时生成音乐。用户输入想要的音乐元素(如风格、乐器、情绪等)后,AI会立即根据这些输入创作出相应的音乐,无需长时间的等待。这与传统的音乐创作方式相比,大大提高了创作效率,让用户能够快速得到创作结果并根据结果进行进一步调整 。

基于模型的改进实现实时流播放

谷歌调整之前仅限离线的模型,实现了实时音乐流播放。这一改进使得MusicFX DJ在响应速度上更加迅速,与之前的离线模型相比,能够更加迅速地响应用户需求,实时生成音乐内容。用户在输入提示词后,可以像听在线音乐一样流畅地听到生成的音乐,就好像音乐是在不断流淌出来的一样 。

(二)多风格融合与调整

多风格选择与混合

用户可以选择多个音乐风格来生成音乐。它涵盖了多种不同类型的音乐风格,如流行、古典、摇滚等各种风格都可能被包含其中。并且用户能够将这些不同风格进行混合,创造出独特的音乐组合。例如,将古典音乐的优雅和摇滚音乐的激情相结合,生成一种既有古典韵味又充满摇滚活力的新音乐类型 。

风格强度调整

除了选择多个音乐风格,用户还可以调整每个风格的强度。这一功能为用户提供了非常细致的音乐创作控制权。通过调整风格强度,用户可以精确地控制不同风格在音乐中的占比和影响力,从而影响音乐的节奏、曲调等方面。比如,将“爵士”风格的强度调高,会使生成的音乐中爵士元素更加突出,节奏和曲调也会更偏向爵士风格的特点 。

(三)精确的音乐控制

乐器和音乐元素调整

新版本的MusicFX DJ为用户提供了对音乐的更多精确控制。用户可以自由调整乐器,例如可以选择特定的乐器组合,或者改变乐器的演奏方式、音色等。还可以插入音乐间奏,根据自己的创意在音乐中制造停顿、过渡等效果。同时,用户能够创造低音掉落,增强音乐在低音部分的表现力,让音乐更富有节奏感和冲击力 。

调性和节奏控制

在创作过程中,用户可以随时调整音乐的调性(如从C大调转换为G小调等)和节奏(如加快或减慢节拍速度)。这使得用户能够根据自己的创作意图或者与其他音乐的配合需求,灵活地调整音乐的基本属性。例如,当想要与一首已有的快节奏歌曲相匹配时,可以加快自己创作音乐的节奏;或者为了营造出悲伤的氛围,将音乐调性调整为小调 。

(四)高质量音频输出

MusicFX DJ以48kHz立体声制作出专业级音频。这种高质量的音频输出满足了专业音频制作的需求,也让用户创作出来的音乐在音质上有了很好的保障。无论是在音乐的清晰度、立体感还是整体的听觉感受上,都能够达到较高的水准,使得用户创作的音乐在播放效果上更加出色,无论是在耳机中聆听还是通过音响播放,都能给人较好的音乐体验 。

四、https://labs.google/fx/tools/music - fx - dj的用户评价

由于目前MusicFX DJ尚未完全向公众开放,只有部分测试者能够使用,所以公开的用户评价相对较少。但从已有的相关报道和对其功能的分析来看,它具有以下潜在的用户评价方面:

(一)对非专业音乐创作者友好

降低创作门槛

对于没有音乐专业知识的人来说,MusicFX DJ是一个非常好的创作工具。用户不需要具备深厚的音乐理论知识或者演奏技能,就能够通过简单地输入文字提示(如音乐风格、乐器、情绪等)来创作音乐。这使得音乐创作不再是专业音乐人的专属领域,普通人也能够轻松地涉足音乐创作,实现自己的音乐创意 。

激发创作灵感

它为音乐爱好者提供了一个探索新的音乐风格和创作灵感的平台。用户可以尝试各种不同的音乐风格组合、乐器搭配和情绪表达,从而发现一些新的音乐创意和灵感。例如,一个原本只熟悉流行音乐的爱好者,可能通过MusicFX DJ发现古典音乐与流行音乐混合后的独特魅力,进而激发他创作新的混合风格音乐的灵感 。

(二)创作过程中的乐趣和创意实现

类似DJ的创作体验

MusicFX DJ让用户可以像DJ一样打碟,这种创作方式给用户带来了独特的体验。用户可以调整音乐风格的强度、混合不同的音乐元素等,就像DJ在现场混音一样,这种互动性和创造性让用户在创作过程中能够充分享受乐趣。例如,用户可以根据自己的感觉即时调整音乐的节奏和曲调,就像在现场控制音乐播放一样充满乐趣和挑战性 。

个性化创作

用户能够根据自己的喜好和创意进行个性化的音乐创作。通过输入不同的提示词、调整音乐元素的各种参数,每个用户都可以创作出独一无二的音乐作品。无论是想要创作一首充满活力的派对音乐,还是一首宁静的冥想音乐,都可以通过MusicFX DJ来实现,满足了用户对于个性化音乐创作的需求 。

(三)专业应用潜力

音乐制作辅助

对于专业音乐制作人来说,MusicFX DJ可以作为一个生成新的音乐想法的工具。在音乐制作的前期阶段,制作人可以利用MusicFX DJ快速生成一些音乐概念,作为编曲的起点或者为现有作品添加新的元素。例如,在制作一首流行歌曲时,可以先使用MusicFX DJ生成一些包含不同风格元素的音乐片段,从中获取灵感,然后再进行进一步的精细制作 。

音乐教育价值

在音乐教育方面,MusicFX DJ可以作为一个教学工具。它可以帮助学生理解音乐理论,通过实践来学习音乐创作和表达。例如,教师可以让学生通过MusicFX DJ输入不同的音乐元素,观察音乐的生成结果,从而更好地理解不同音乐风格、乐器、节奏等元素之间的关系和作用 。

五、https://labs.google/fx/tools/music - fx - dj与其他类似工具的比较

(一)与传统DJ软件的比较

音乐来源

传统DJ软件主要是混合预录音轨,也就是将已经录制好的音乐片段进行混合、剪辑等操作来制作新的音乐播放列表或者混音作品。而MusicFX DJ是即时生成全新的音乐,它不需要预先录制的音轨,是通过用户输入的提示词(如音乐风格、乐器、情绪等),由AI根据算法生成音乐内容 。

创作灵活性

在传统DJ软件中,虽然DJ可以对预录音轨进行各种操作,但是在音乐风格和元素的改变上相对有限。例如,很难将一首完全的古典音乐通过传统DJ软件变成具有流行风格元素的音乐(除非使用额外的音频处理工具)。而MusicFX DJ可以让用户自由选择和混合多种音乐风格,还能调整风格强度、乐器、节奏等众多音乐元素,创作灵活性更高 。

对使用者技能要求

传统DJ软件通常需要使用者具备一定的DJ技能,如对节奏的把握、音轨的选择和混合技巧等。而MusicFX DJ对没有音乐专业知识的用户非常友好,不需要使用者具备专业的DJ技能或者深厚的音乐理论知识,只要能输入合适的提示词就可以创作音乐 。

(二)与其他AI音乐创作工具的比较

创作方式

一些AI音乐创作工具可能是基于特定的音乐模板或者模式进行创作,用户的创作选择相对受限。例如,某些工具可能只提供几种固定的音乐风格供用户选择,然后根据用户选择的风格生成音乐。而MusicFX DJ允许用户输入多种类型的提示词(音乐风格、乐器、情绪等),并且可以混合这些提示词来创作音乐,还能进行更细致的音乐元素调整,创作方式更加多样化和个性化 。

实时性和交互性

部分AI音乐创作工具在生成音乐时可能需要较长的等待时间,或者在音乐生成过程中无法进行实时调整。MusicFX DJ具有实时音乐生成和实时流播放的功能,用户输入提示词后能够快速得到音乐反馈,并且在创作过程中可以实时调整音乐的各种元素(如乐器、节奏、调性等),交互性更强 。

音频质量

不同的AI音乐创作工具在音频质量上可能存在差异。MusicFX DJ以48kHz立体声制作出专业级音频,在音频质量上达到了较高的标准。一些其他的AI音乐创作工具可能由于算法或者技术限制,音频质量可能无法达到MusicFX DJ的水平,例如可能存在声音清晰度不够、立体感不强等问题 。

需要更多免费AI工具、最新Ai信息、详细使用和丰富Ai教程、Ai变现方法的小伙伴可以加入路上侠客的知识星球,一年会员,原价199元,现在只需99元

【声明】内容源于网络
0
0
路上侠客
谈讨、研究、实践AI智能和跨境电商之间的联系和应用。旨在和科技浪潮对冲时产生一些火花,提高工作效率。网站:www.roadheroai.com
内容 818
粉丝 0
路上侠客 谈讨、研究、实践AI智能和跨境电商之间的联系和应用。旨在和科技浪潮对冲时产生一些火花,提高工作效率。网站:www.roadheroai.com
总阅读168
粉丝0
内容818