“省心省钱”自建100%实战用AI开发环境

近年来，AI逐渐从概念走向现实，在各行各业落地，如自动驾驶、人脸支付、语音识别、智能导航等。AI技术的软件和硬件支持也越来越完善，这让很多企业和个人也跃跃欲试，想尝试一下AI技术。同时，很多学校和培训机构也开始涉足AI课程。

 

但是AI的硬件成本高，例如专业的GPU卡就要几千甚至上万元，而且硬件上的层层软件框架的复杂依赖关系更是让人有些“望而却步”。如何能“省心省钱”地跨过AI技术的软硬件门槛，快速开始真正地做AI学习或技术开发呢？

图1：AI示意图

这里大家可以试用一下Atlas OS系统上的“达仁云主机”：不同于一般的云主机，虽然同样是采用云上租用虚拟机的方式使用，“达仁云主机”是预先安装好基础软件、配置好软件和网络设置、并且自动智能管理镜像存储和数据持久化的“预设托管”型云主机。

“达仁云主机”就是把平时需要“看懂一整本教程书”以后才能用起来的“云主机”的那些复杂的设置和维护“智能化、傻瓜化”，让任何用户仅需点击几个按钮，就能在浏览器里立即启动一台“立即能用”的云主机。

 

特别方便的是“达仁云主机”通过浏览器即可访问，不需要安装任何软件或购买任何硬件。而且云主机启动后是按秒/分钟/小时计费，停机就立刻停止计费（按月扣费），没有“包月”门槛，“省心省钱”。“达仁云主机”更有百余种云主机配置可选，其中就包括很多带GPU卡的云主机类型。

图2：达仁云主机界面示意图

那么我们现在就利用这款“省心省钱”的达仁云主机，来看看如何自建一个“实战”型的AI开发环境吧？

 

注意：这里的这个开发环境和背后的云主机计算资源，是真正的可以做开发、做项目的“实战”级环境，可不是一些常见的“只能做作业”的“假”的模拟开发环境哦。我们来看看详细的一步一步的真实“实战”教程吧！

 

实战教程

#搭建AI开发环境#

使用的工具：达仁云主机中的公共镜像（适用于基于Linux操作系统的所有“达仁云主机”镜像）。

解决的问题：在云主机上如何安装TensorFlow，PyTorch，Keras等必要AI工具框架，以及如何安装GPU卡所需要的驱动和依赖软件包，最终搭建一个通用“实战”型的AI开发环境。

详细操作流程：

1、在浏览器中登录Atlas OS（atlas.daren.io），选择左侧导航栏中的达仁云主机，在达仁云主机界面创建虚拟硬盘，使用此硬盘作为主要的数据和运行目录。

图3：建立虚拟硬盘界面

 

2、选择公共镜像：Linux command line only（或任何基于Linux操作系统的“达仁云主机”镜像）。

图4：选择主机镜像界面

3、选择GPU实例g4dn.xlarge（或其他的带GPU配置的云主机类型），设置虚拟硬盘大小（建议不要小于32GB的Root Drive Size），为云主机命名。点击启动云主机之后出现右侧弹窗。

图5：选择配置GPU实例界面

 

4、当云主机状态由“启动中”变为“运行中”时，便可点击“信息”按钮进入云主机信息界面。

图6：云主机启动中状态界面

 

图7：云主机运行中状态界面

 

图8：云主机信息界面系统分配的URL、账户名和密码

 

5、使用系统分配的主机URL、用户名和密码，使用SSH工具（例如命令行终端）登录进入开启的云主机。注意：对于使用JupyterLab和RStudio等带有网络界面的云主机，可以直接使用JupyterLab和RStudio自带的网络界面上的命令行窗口。

图9：在ssh终端登录云主机

 

6、在命令行内配置环境和安装工具，具体如下：

# 安装conda

wgethttps://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

bash Miniconda3-latest-Linux-x86_64.sh

# 激活conda的base环境

source .bashrc

 

# 安装必要的系统环境

sudo yum -y installhttps://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm

sudo yum update -y

sudo yum -y install kernel-devel-$(uname -r)kernel-headers-$(uname -r)

sudo yum -y install gcc gcc-c++

 

# 下载并安装GPU驱动

cd DataDrive/

wgethttps://us.download.nvidia.com/tesla/460.73.01/NVIDIA-Linux-x86_64-460.73.01.run

sudo sh NVIDIA-Linux-x86_64-460.73.01.run

 

# 验证GPU驱动是否成功安装，输出如下，证明GPU驱动安装成功

nvidia-smi

+-----------------------------------------------------------------------------+

| NVIDIA-SMI 460.73.01    Driver Version: 460.73.01    CUDA Version: 11.2     |

|-------------------------------+----------------------+----------------------+

| GPU Name        Persistence-M|Bus-Id        Disp.A | Volatile Uncorr.ECC |

| Fan Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |

|                               |                      |               MIG M. |

|===============================+======================+======================|

|  0  Tesla T4            Off | 00000000:00:1E.0 Off |                   0 |

| N/A  64C    P0    31W / 70W |      0MiB / 15109MiB |      0%     Default |

|                               |                      |                  N/A |

+-------------------------------+----------------------+----------------------+

 

+-----------------------------------------------------------------------------+

| Processes:                                                                  |

| GPU   GI   CI       PID   Type   Process name                  GPU Memory |

|       ID   ID                                                  Usage      |

|=============================================================================|

|  Norunning processes found                                                |

+-----------------------------------------------------------------------------+

cd ..

 

# 使用conda安装tensorflow和Keras环境

conda create -n tf-gpu tensorflow-gpu

 

# 激活tf-gpu环境

conda activate tf-gpu

 

# 验证tensorflow是否安装成功，无报错说明tensorflow安装成功并可用

python -c "import tensorflow as tf;tf.config.experimental.list_physical_devices('GPU')"

 

# 验证keras是否可用

python -c "import tensorflow as tf; fromtensorflow.keras.datasets import mnist; (train_data, _), (test_data, _) =mnist.load_data()"

输出如下，证明可正常加载mnist数据集，keras可用：

2021-07-07 09:24:24.524254: Itensorflow/stream_executor/platform/default/dso_loader.cc:49] Successfullyopened dynamic library libcudart.so.10.1

Downloading data fromhttps://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz

11493376/11490434[==============================] - 3s 0us/step

 

# 退出tf-gpu环境，回到conda的base环境

conda deactivate

 

# 使用conda安装pytorch环境

conda install pytorch torchvision -c pytorch

 

# 安装numpy包

pip install pip --upgrade

pip install numpy

 

# 验证pytorch是否安装成功, 输出类似于下面的结果表明pytorch安装成功并可用

python -c "import torch; x =torch.rand(5, 3); print(x)"

tensor([[0.9483, 0.8890, 0.9627],

       [0.8299, 0.4819, 0.5540],

       [0.7344, 0.2855, 0.0828],

       [0.6749, 0.1239, 0.8607],

       [0.5097, 0.4810, 0.6998]])

 

至此，拥有TensorFlow，PyTorch，Keras工具、能使用GPU卡的通用AI环境已经配置完毕，你学会了吗？你可以在关闭这个“云主机”时，在界面上选择“保存为私有镜像”，停机以后，下次就可以直接从这个新保存的“私有镜像”开机，在新启动的云主机里就有我们刚刚安装的所有软件、驱动和做的软件配置了。

 

停机不丢环境，启动就可以直接用，这才是真正地“省心省钱”。而这个环境和背后的云主机计算资源，是真正地可以做开发、做项目的“实战”级环境，可不是一些常见的“只能做作业”的“假”开发环境哦。

 

7、关闭或暂停云主机，如下图所示可以选择暂停或者关闭云主机，关闭云主机可保存为镜像。

图10：可关闭或暂停云主机

 

图11：可保存为镜像

 

8、注意：若使用云主机“暂停”功能（在云主机信息页面底部），请停止云主机的自动更新功能。因为云主机正常情况下可能会在暂停后重新恢复时，自动加载最新版本的Linux系统内核。但是在“6、在终端配置环境和安装工具”这个步骤中，我们安装了开发版本的Linux内核。因此，如果系统在暂停后重新恢复时加载了另外的内核，会导致内核和GPU驱动等原有的开发环境不匹配。

 

如果需要停止云主机的自动更新功能，请在命令行执行如下命令:

sudoyum -y install yum-cron

 

sudovi /etc/yum/yum-cron.conf

#将“yum-cron.conf”文档里的

update_messages= no

download_updates= no

 

systemctlstart yum-cron
systemctl enable yum-cron
sudo cp /etc/yum.conf /etc/yum.conf.bak

sudovi /etc/yum.conf

 

对AI感兴趣的小伙伴们快去试试吧，无需下载任何软件，浏览器登录atlas.daren.io，选择“智能化+傻瓜化”的达仁云主机，不用烦心如何配置Linux操作和网络设置等复杂运维步骤，真正“省心省钱”。

现在注册Atlas OS(atlas.daren.io)，将账户名发送至Atlas OS微信公众号，还能领取1000代金币免费试用（2核2G云主机可用100小时喔）。

最后，想了解更多新鲜实用的人工智能、云计算和数据分析工具及技巧，欢迎关注我们。

 

本文参考材料：

达仁云主机演示视频：

https://www.bilibili.com/video/BV1AK4y1M7w6/

TensorFlow安装指引：

https://docs.anaconda.com/anaconda/user-guide/tasks/tensorflow/

使用Keras做自编码器的代码来源：

https://keras.io/examples/vision/autoencoder/

pyTorch安装指引：

https://pytorch.org/get-started/locally/#mac-installation

---

长按二维码关注我们

微信公众号：Atlas OS

新浪微博：@达仁基算