今天我们来使用VS Code 安装 Cline 插件来使用性能超过o1的Google最新模型-Gemini 2.0。
首先打开VS Code,然后搜索Cline插件。
点击Install进行安装。
我们点击配置按钮
在Google AI Studio中申请API
https://aistudio.google.com/apikey
在Cline插件中填入API即可
模型选择
记得这边务必选择第二个模型gemini-2.0-flash-exp, ,第一个最新模型通过API绑定是无法使用的。
我们设计一款英语抽卡单词记忆的应用程序。
看下这个程序实现的最终效果。
最后的动态撒花效果也是绝了,有悬停亮灯效果,动态效果丰富细腻。
效果是真心不错,应该是目前继Bolt之后测试了16款国内外无代码编程工具后一次效果产出最佳的结果了。
补充知识:
Gemini 2.0的基本概述
Gemini 2.0是谷歌于2024年12月12日推出的新一代人工智能大模型,被谷歌CEO桑达尔·皮查伊称为是为新智能体时代构建的下一代模型,也是谷歌迄今为止最强的大模型。
Gemini 2.0Flash是Gemini 2.0系列模型中的第一个模型。它在关键基准测试中的性能约为Gemini 1.5Pro的两倍,同时延迟更低。这一模型基于谷歌定制的硬件第六代TPU Trillium构建而成,TPU为Gemini 2.0的训练和推理提供100%算力支持。
目前谷歌完全对外开放的新模型是Gemini 2.0Flash体验版,这是谷歌的主力模型,具有低延迟特性,开发人员现已可在AIStudio和VertexAI平台上试用该版本。部分功能如文本转语音和原生图像生成目前仅对早期访问合作伙伴开放,预计2025年1月将广泛开放,并且谷歌计划在2025年初将Gemini 2.0扩展到更多Google产品中。
Gemini 2.0的特点
1. 强大的多模态能力
Gemini 2.0的核心特点在于其强大的多模态能力。它不仅支持图片、视频和音频等多模态输入,还支持多模态输出,例如可以直接生成图像与文本混合的内容,以及原生生成可控的多语言文本转语音(TTS)音频。这意味着该模型能够理解和处理包括文本、图像、视频和音频在内的多种输入类型,并提供相应的输出结果。
例如,用户可以输入简单的文字指令,如“将人物P成超模身材”、“将背景变为星空”等,Gemini 2.0就能迅速将图片按照指令进行修改,实现一键P图的效果。它不仅能够准确地识别和修改图像中的特定元素,如人物、物体等,还能保持图像的整体一致性,不会出现明显的失真或扭曲,而且处理速度非常快。
2. 原生工具使用
Gemini 2.0可以原生调用谷歌搜索、代码执行以及第三方用户定义的函数等工具。这一特点进一步扩展了其应用范围,为开发者提供了更多便捷,也使得模型能够更好地利用外部资源来满足用户需求。
3. 性能提升显著
在关键基准测试中,Gemini 2.0相较于前代Gemini 1.5Pro性能大幅提升,速度至高提升两倍。它采用了最新的机器学习和深度学习算法,提升了神经网络的结构和效率,在自然语言处理(NLP)领域表现出色,能够更好地理解和生成自然语言,增强了人机交互的智能性。
4. 助力构建智能体
如果说Gemini 1.0的作用是整合和理解信息,那么Gemini 2.0能够做到让信息更加有用。基于Gemini 2.0模型,谷歌能够构建新的AI智能体,从而离构建通用助手的愿景更进一步。谷歌在发布Gemini 2.0的同时,介绍了多个智能体,如ProjectAstra、ProjectMariner和Jules等,这些智能体在不同场景下发挥着各自的作用,展示了Gemini 2.0在构建智能体方面的潜力。
5. 良好的用户体验
从用户体验的角度来看,Gemini 2.0的界面设计简洁明了,操作流程简单易懂,响应速度非常快,无论是在PC端还是移动端,都能够提供流畅的使用体验。并且,它在处理复杂任务时也能展现出较好的性能,满足用户在不同场景下的需求。
Gemini 2.0的应用领域
1. 智能助手领域
多语言对话与个性化服务
ProjectAstra是通过多模态理解现实世界的智能体,它基于Gemini 2.0构建,可以在多种语言和混合语言之间进行对话,能够理解不同口音和生僻单词,并以接近人类对话的延迟来理解语言。它最多可以记住长达10分钟的会话内容,并且可以回忆起过去与它进行的多轮对话,以便为用户提供更好的个性化服务,还能使用谷歌搜索、谷歌地图等工具,被应用于谷歌的AI助手Geminiapp以及智能眼镜等其他设备及产品中。
浏览器交互与任务完成
ProjectMariner是使用Gemini 2.0构建的早期研究原型,旨在从用户的浏览器开始探索人机交互的未来。它能够理解和推理浏览器页面中的信息,包括像素和文本、代码、图像和表单等网页元素,然后通过Chrome扩展程序使用这些信息为用户完成任务。在WebVoyager基准测试中,ProjectMariner作为单个智能体设置实现了83.5%的工作效率,达到了先进的水平,不过目前它的运行并非总是准确,且完成任务的速度较慢,仍处于早期阶段。
2. 代码开发领域
Jules是一种可以直接集成到GitHub工作流当中的AI代码智能体,它基于Gemini 2.0构建,能够帮助开发者解决问题、制定并执行计划,在开发者指导和监督下进行工作,例如可以在开发者休息时自主修复软件错误并准备代码更改,分析复杂的代码库,跨多个文件实施修复,并准备详细的拉取请求(pull requests),而无需持续的人工监督。
3. 游戏领域
谷歌使用Gemini 2.0构建了智能体,可以帮助用户在电子游戏中做出更好的决策。这些游戏智能体可以根据屏幕上的实时画面,分析游戏情况,并为用户提供下一步的行动建议。谷歌还正与Supercell等顶尖游戏开发团队合作,探索智能体在游戏领域的应用,例如在《部落冲突》的演示中,AI可以介绍兵种特性并给出组合建议,还能在Reddit上检索信息,为玩家提供角色选择建议。
4. 科研学术领域
Gemini 2.0中的DeepResearch功能是一个专为复杂在线研究设计的高级功能,能够自动创建多步骤研究计划,这有助于科研人员进行学术研究和项目分析,提高科研效率。
5. 图像和音频处理领域
Gemini 2.0支持原生图像和多语言音频输出,在图像方面,可以进行复杂的图像处理,如一键P图等操作;在音频方面,可以原生生成可控的多语言文本转语音(TTS)音频,这在多媒体创作、内容生成等方面有着广泛的应用前景。
Gemini 2.0与其他类似产品的比较
1. 与ChatGPT o1模型比较
在新加坡科研局资深科研工程师黄佳的测试中,将Gemini 2.0与OpenAI最新发布的o1模型进行对比,测试方式是提供一系列参考文档,给出复杂逻辑,让大模型进行自主编程,并提供详细文案解释。结果显示,在一般情况下,ChatGPTo1的逻辑推理还是更强。具体而言,两个模型都体现出了很强的分析推理能力,但ChatGPTo1可以接受的文档输入长度较长,Gemini 2.0会截断部分太长的参考文档;此外,ChatGPTo1给出的代码,质量较高,缺陷(bug)较少,ChatGPTo1的代码解释更详尽,更接近黄佳想要的写作风格,Gemini 2.0的解释文案较为简略。
2. 与前代Gemini模型比较
性能提升
相较于Gemini 1.5Pro,Gemini 2.0在关键基准测试中的性能有大幅提升,速度达到了Gemini 1.5Pro的两倍。并且Gemini 2.0Flash在同样快速的响应时间下性能进一步增强,在多模态输入输出、原生工具调用等功能方面也有新的发展。例如,Gemini 2.0除了支持图片、视频和音频等多模态输入,还支持多模态输出,而Gemini 1.5Flash可能在多模态输出方面功能较弱。
功能拓展
Gemini 2.0可以原生调用谷歌搜索、代码执行以及第三方用户定义的函数等工具,这是Gemini 1.5Flash可能不具备的功能。此外,Gemini 2.0在构建智能体方面更具优势,谷歌基于Gemini 2.0推出了多个智能体应用,如ProjectAstra、ProjectMariner和Jules等,而Gemini 1.0更多是整合和理解信息,Gemini 2.0在让信息更加有用方面有了进一步发展。
3. 与其他多模态模型比较
与其他多模态模型相比,Gemini 2.0具有一些独特的优势。例如,Gemini是一个真正原生的多模态大模型,从最初的预训练数据开始,Gemini就在针对不同模态的模型进行训练,因此其功能在每个重大领域都达到了SOTA(State of the art,特指领先水平的大模型)。而其他多模态模型可能是针对不同模态训练单独的组件,然后将它们拼接以粗略模仿其中一些功能,这会导致这些模型有时擅长执行某些任务,例如描述图像,但难以处理更概念性和复杂的推理。
Gemini 2.0的发展前景
1. 在智能体发展中的推动作用
Gemini 2.0在原生用户界面操作能力、多模态推理、长文本理解、复杂指令跟随和规划能力、组合函数的调用,原生工具使用以及延迟优化等一系列领域进行了优化改进,这使得它在构建AI智能体方面拥有更突出的优势。谷歌通过Gemini 2.0构建了多个智能体,如ProjectAstra、ProjectMariner和Jules等,展示了其在不同场景下的应用潜力。随着智能体技术的发展,Gemini 2.0有望成为构建更复杂、更智能的智能体的重要基础,进一步推动AI智能体的发展,从而让谷歌离构建通用助手的愿景更进一步。
2. 在多模态交互领域的潜力
Gemini 2.0强大的多模态能力为多模态交互领域带来了更多的可能性。它支持多种模态的输入和输出,这意味着在未来的人机交互中,用户可以通过更加自然和多样化的方式与机器进行交互,例如通过语音、图像、视频等多种形式输入信息,机器也可以以更加丰富的形式输出结果,如生成图像与文本混合的内容、多语言音频等。这种多模态交互能力有望在多媒体创作、智能客服、教育、医疗等多个领域得到广泛应用,为用户提供更加便捷、高效和个性化的服务体验。
3. 应用场景的拓展
目前,Gemini 2.0已经在智能助手、代码开发、游戏、科研学术、图像和音频处理等多个领域展示了其应用价值。随着技术的不断发展和优化,它有望进一步拓展应用场景,例如在机器人领域的应用可能会得到进一步深化。谷歌已经将Gemini 2.0的空间推理能力应用于机器人领域,尝试让智能体在现实世界中提供帮助,虽然这项研究仍处于初期阶段,但未来的发展前景广阔。此外,在更多的行业领域,如金融、交通、物流等,Gemini 2.0也可能会找到新的应用切入点,为这些行业的智能化发展提供助力。
4. 与谷歌产品的整合
谷歌计划将Gemini 2.0整合到更多的产品中,尤其是在搜索和Gemini平台方面。这将有助于提升谷歌产品的智能化水平,为用户提供更加智能、高效的服务。例如,当Gemini 2.0整合到谷歌搜索中时,可能会改变用户的搜索体验,提供更加精准、个性化的搜索结果;在Gemini平台上,可能会带来更多功能强大的应用和服务。通过与谷歌产品的深度整合,Gemini 2.0的影响力和价值将得到进一步提升,同时也将推动谷歌在人工智能领域的发展战略实施。
需要更多免费AI工具、最新Ai信息、详细使用和丰富Ai教程、Ai变现方法的小伙伴可以加入路上侠客的知识星球,一年会员,原价199元,现在只需99元。

