如何搭建并高效使用Linux系统下的深度学习环境?
摘要:作为一个AI工程师,对Linux的一些技能的掌握也能从一定层面反应工程师的资深水平。 要求1:基于SSH的远程访问(本篇文章) 能用一台笔记本电脑,远程登陆一台linux服务器 能随时使用笔记本电脑启动训练任务 能熟练的让代码和文件在笔记本
作为一个AI工程师,对Linux的一些技能的掌握也能从一定层面反应工程师的资深水平。
要求1:基于SSH的远程访问(本篇文章)
能用一台笔记本电脑,远程登陆一台linux服务器
能随时使用笔记本电脑启动训练任务
能熟练的让代码和文件在笔记本电脑与LINUX服务器之间的传输
要求2:Linux系统的文件系统(Linux指令学习)
知道什么是硬盘的挂载
能合理的使用服务器的硬盘空间
不要求,但建议学会如何在LINUX系统上自建逻辑卷(LVM)
要求3:LINUX系统的账户管理
知道root账户与普通账户的区别
能够对账户权限有基本的规划
能在普通账户下,完成基于Tensorflow的AI开发
要求4:LINUX系统的驱动安装(本篇文章)
能够独立的在Ubuntu Linux 上搭建NVIDIA GPU的深度学习环境
要求5:GIT和Github(Git从入门到精通)
有代码的版本控制意识
能够掌握基本的Git使用方法
能够掌握基本的Github使用方法
上面的知识点我都写过博客,写完这篇文章我就能集齐龙珠,召唤神龙了。😃
SSH远程连接服务器
例子:
IP地址:111.44.254.168
端口号:21665
登录名:root
密码:123456
linux \ MAC连接
如果本地电脑是inux或者mac系统,则远程服务器SSH登陆信息是:ssh -p 21665 root@111.44.254.168
window系统连接
如果本地电脑是 window系统用cmd登陆(需要先安装 OpenSSL)
远程服务器SSH登陆信息是:ssh -p 21665 root@111.44.254.16
Xshell软件连接
我们需要用到的软件是:Xshell(命令行控制服务器) 和 Xffp(传输文件)
进入官网:https://www.netsarang.com/zh/,滑到最下面点击 家庭/学校免费,输入姓名和邮箱,勾选两者,点击下载。随后邮箱会收到两个邮件,点击邮件中的链接就可以下载安装包。
putty,pscp、Filezila等软件也比较主流,但可能不太稳定,这里不做介绍
搭建深度学习环境
我们首先确定自己想要安装的版本,CUDA与显卡驱动对应的版本关系,TensorFlow-GPU与CUDA cudnn Python版本关系
我想安装的版本是:
python 3.6.5(ananonda3-5.2.0)
NVIDIA® GPU 驱动程序:
CUDA
cuDNN
安装python
python环境我们选择的是Anaconda,我选择的安装版本是Anaconda3-5.2.0-Linux-x86_64.sh,对应的python版本是python 3.6.5,建议到清华镜像源下载,更快!
打开Xftp,连接服务器,在服务器创建一个DL_package文件夹,将Anaconda3-5.2.0-Linux-x86_64.sh上传到文件夹里(不放也行,我是想要统一管理,因为后面还要安装cuda和NVIDIA驱动)
安装过程不要瞎点,看清楚底部的英文再确定 yes or no。
