谷歌Colab使用（深度学习）

2023年4月10日下午9:55 • 深度学习

Google Colaboratory是谷歌开放的一款研究工具，主要用于机器学习的开发和研究。这款工具现在可以免费使用，但是不是永久免费暂时还不确定。Google Colab最大的好处是给广大的AI开发者提供了免费的GPU使用！GPU型号是Tesla K80！你可以在上面轻松地跑例如：Keras、Tensorflow、Pytorch等框架。

2. 使用

2.1 官方使用教程

新手指引：https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d ``

常见问题：https://research.google.com/colaboratory/faq.html

官方给出的新手指引当中已经给出了前期配置、常见软件和库的安装等方法。

2.2 基本操作

Colab需要从Google Drive（谷歌云盘）进入。为了方便整理，我先在Google Drive中创建了一个新文件夹"Colab"。
然后，我们在"Colab"文件夹中新建一个Colab项目，如图所示：

注意：首次创建Colab项目需要点击“关联更多应用”，添加“Colaboratory”应用。

创建完项目之后我们就可以进入Colab的主界面了。

现在，我们就可以在代码框中输入一些代码。这里注意，如果我们直接输入代码，系统会当作是Python代码执行。

2.3 设置

修改笔记本的环境

在 ‘修改 --> 笔记本设置’ 中：可以选择硬件加速器。

挂载谷歌网盘硬盘

首先需要安装必要的库，授权:

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

运行之后会出一个链接，点开登录Google账号，然后把一个token复制粘贴到代码行的框框中回车就ok！

然后连接Google drive,在输入框中输入下面的命令：

!mkdir -p drive
!google-drive-ocamlfuse drive

挂载完后在虚拟机中会多出一个文件夹"drive"，我们可以用!ls命令查看。

这样，Google drive就和Google Colaboratory连接好了，基本就可以像操作本地文件一样来操作云端的代码了。

2.4 安装深度学习平台

在官方教程中已经有Keras、Tensorflow、Pytorch的安装方法，

2.5 进阶操作

import os
os.chdir("drive")

执行以上代码，当前工作目录会进入到drive文件夹下。我们再使用!ls命令会发现系统输出的是drive文件夹下的目录。

回到上级目录：os.chdir('../')

运行自己的代码
好了，各种准备工作都做好了，我们如何在Colab上直接运行自己写好的代码呢？其实很简单，就跟在自己电脑上一样，使用命令!python XXX.py就可以了！详细步骤如下：

将.py文件和其它必要的文件上传到Google Drive
将工作目录切换到.py文件所在目录。

import os
os.chdir('drive/Colab/Your project folder')

不放心的话切换完之后用!ls命令看一下是不是到了指定目录下。

运行代码
!python xxx.py

3. 总结

1.可以把Colab看成是一台带有GPU的Ubuntu虚拟机，只不过我们只能用命令行的方式操作它。你可以选择执行系统命令，亦或是直接编写运行python代码。

2.挂载完Google Drive，会在虚拟机里生成一个drive文件夹，直接将Google Drive当成是一块硬盘即可。访问drive文件夹里的文件，就是在访问你的Google Drive里的文件。

3.Colab最多连续使用12小时，超过时间系统会强制掐断正在运行的程序并收回占用的虚拟机。（好像再次连接到虚拟机后，虚拟机是被清空的状态，需要重新配置和安装库等等）

4.请使用科学的上网方式。

本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：谷歌Colab使用（深度学习） - Python技术站