大数跨境
0
0

疯狂!手画草稿图可一键生成网站!Mistral AI发布第一个多模态模型Pixtral-12B!

疯狂!手画草稿图可一键生成网站!Mistral AI发布第一个多模态模型Pixtral-12B! 软积木
2024-09-18
0

9月17日,Mistral发布了其第一个多模态模型——Pixtral-12B!

该模型基于Mistral的120亿参数Nemo 12B构建。

是什么让这个模型与众不同?

那就是Pixtral-12B经过训练可以理解自然图像和文档!

对复杂数字进行推理

输入一张经济图表,并进行提问:
列出欧洲GDP最高的5个国家:
Pixtral-12B根据图像进行了准确的回复,并列出欧洲GDP最高的5个国家的详细数据:
  1. Germany 德国

    • GDP: $3.99 trillion 国内生产总值:3.99万亿美元

    • Percentage: 4.65% 占比:4.65%

  2. United Kingdom 英国

    • GDP: $2.82 trillion 国内生产总值:2.82万亿美元

    • Percentage: 3.29% 占比:3.29%

  3. France 法国

    • GDP: $2.78 trillion 国内生产总值:2.78万亿美元

    • Percentage: 3.24% 占比:3.24%

  4. Italy 意大利

    • GDP: $2.07 trillion 国内生产总值:2.07万亿美元

    • Percentage: 2.42% 占比:2.42%

  5. Spain 西班牙

    • GDP: $1.43 trillion 国内生产总值:1.43万亿美元

    • Percentage: 1.66% 占比:1.66%


多图像指令跟随

除了简单的图像分析,Pixtral-12B还可以进行多图像指令跟随:

例如,将下面的个表中的信息合并到一个Markdown

这是Pixtral-12B输出的并表,该表结合了两个表中的数据,确保每个基准的所有模型及其各自的分数都包含在一个统一的格式中。



图像到代码

Pixtral-12B还可以将图像转换为代码,例如输入下图和要求。


要求:编写HTML代码来创建一个这样的网站



Pixtral-12B很快就生成了一个HTML代码示例,用于创建一个简单的网页,允许用户选择冰淇淋口味。


该示例包括用于选择口味的下拉菜单和“下一步”按钮。


<!DOCTYPE html><html lang="en"><head>    <meta charset="UTF-8">    <meta name="viewport" content="width=device-width, initial-scale=1.0">    <title>Pick an Ice Cream Flavor</title>    <style>        body {            font-family: Arial, sans-serif;            display: flex;            justify-content: center;            align-items: center;            height: 100vh;            background-color: #f0f0f0;        }        .container {            background: white;            padding: 20px;            border-radius: 8px;            box-shadow: 0 0 10px rgba(0, 0, 0, 0.1);        }        h1 {            text-align: center;        }        select {            width: 100%;            padding: 10px;            margin-top: 10px;            margin-bottom: 20px;        }        button {            width: 100%;            padding: 10px;            background-color: #4CAF50;            color: white;            border: none;            border-radius: 4px;            cursor: pointer;        }        button:hover {            background-color: #45a049;        }</style></head><body>    <div class="container">        <h1>Pick An Ice Cream Flavor</h1>        <select id="flavorSelect">            <option value="vanilla">Vanilla</option>            <option value="chocolate">Chocolate</option>            <option value="strawberry">Strawberry</option>            <option value="cookie_dough">Cookie Dough</option>            <option value="mint_chocolate">Mint Chocolate</option>        </select>        <button onclick="next()">Next</button>    </div>    <footer style="position: fixed; bottom: 0; width: 100%; text-align: center; font-size: 12px;">        &copy; copyright MistralAI    </footer>    <script>        function next() {            const selectedFlavor = document.getElementById('flavorSelect').value;            alert('You selected: ' + selectedFlavor);        }</script></body></html>

如何运行Pixtral


通过Le Chat :


用户可以通过Mistral AI的网站Le Chat免费尝试Pixtral。


先在模型列表中选择Pixtral,上传图像,然后开始询问有关图像的问题。


https://chat.mistral.ai/



通过La Platform:


Pixtral也可在La Platform上使用。


https://docs.mistral.ai/capabilities/vision/


用户可以通过API调用利用Pixtral的功能,从而实现与各种应用程序和工作流程的无缝集成。



此外在本地运行Pixtral的最简单方法是使用mistral-inference 。


安装mistral_inference后,用户可以使用以下代码下载模型、加载模型并运行模型。

https://github.com/mistralai/mistral-inference

END

ChatU可免费申请试用,支持企业私有部署,多引擎AIGC操作系统安全稳定,点击下方公众号一键试用!


【声明】内容源于网络
0
0
软积木
🤖专注AI前沿干货分享 🌎AI原生应用触手可及·开启企业无限智能 💻官网:https://www.CubixAI.com 📮商务合作:BD@cubixai.com
内容 157
粉丝 0
软积木 🤖专注AI前沿干货分享 🌎AI原生应用触手可及·开启企业无限智能 💻官网:https://www.CubixAI.com 📮商务合作:BD@cubixai.com
总阅读14
粉丝0
内容157