如何搭建并高效使用Linux系统下的深度学习环境?

摘要:作为一个AI工程师,对Linux的一些技能的掌握也能从一定层面反应工程师的资深水平。 要求1:基于SSH的远程访问(本篇文章) 能用一台笔记本电脑,远程登陆一台linux服务器 能随时使用笔记本电脑启动训练任务 能熟练的让代码和文件在笔记本
作为一个AI工程师,对Linux的一些技能的掌握也能从一定层面反应工程师的资深水平。 要求1:基于SSH的远程访问(本篇文章) 能用一台笔记本电脑,远程登陆一台linux服务器 能随时使用笔记本电脑启动训练任务 能熟练的让代码和文件在笔记本电脑与LINUX服务器之间的传输 要求2:Linux系统的文件系统(Linux指令学习) 知道什么是硬盘的挂载 能合理的使用服务器的硬盘空间 不要求,但建议学会如何在LINUX系统上自建逻辑卷(LVM) 要求3:LINUX系统的账户管理 知道root账户与普通账户的区别 能够对账户权限有基本的规划 能在普通账户下,完成基于Tensorflow的AI开发 要求4:LINUX系统的驱动安装(本篇文章) 能够独立的在Ubuntu Linux 上搭建NVIDIA GPU的深度学习环境 要求5:GIT和Github(Git从入门到精通) 有代码的版本控制意识 能够掌握基本的Git使用方法 能够掌握基本的Github使用方法 上面的知识点我都写过博客,写完这篇文章我就能集齐龙珠,召唤神龙了。😃 SSH远程连接服务器 例子: IP地址:111.44.254.168 端口号:21665 登录名:root 密码:123456 linux \ MAC连接   如果本地电脑是inux或者mac系统,则远程服务器SSH登陆信息是:ssh -p 21665 root@111.44.254.168 window系统连接   如果本地电脑是 window系统用cmd登陆(需要先安装 OpenSSL) 远程服务器SSH登陆信息是:ssh -p 21665 root@111.44.254.16 Xshell软件连接 我们需要用到的软件是:Xshell(命令行控制服务器) 和 Xffp(传输文件) 进入官网:https://www.netsarang.com/zh/,滑到最下面点击 家庭/学校免费,输入姓名和邮箱,勾选两者,点击下载。随后邮箱会收到两个邮件,点击邮件中的链接就可以下载安装包。 putty,pscp、Filezila等软件也比较主流,但可能不太稳定,这里不做介绍 搭建深度学习环境 我们首先确定自己想要安装的版本,CUDA与显卡驱动对应的版本关系,TensorFlow-GPU与CUDA cudnn Python版本关系 我想安装的版本是: python 3.6.5(ananonda3-5.2.0) NVIDIA® GPU 驱动程序: CUDA cuDNN 安装python   python环境我们选择的是Anaconda,我选择的安装版本是Anaconda3-5.2.0-Linux-x86_64.sh,对应的python版本是python 3.6.5,建议到清华镜像源下载,更快! 打开Xftp,连接服务器,在服务器创建一个DL_package文件夹,将Anaconda3-5.2.0-Linux-x86_64.sh上传到文件夹里(不放也行,我是想要统一管理,因为后面还要安装cuda和NVIDIA驱动) 安装过程不要瞎点,看清楚底部的英文再确定 yes or no。
阅读全文