当前位置: 首页 >  技术分享 >  尝试用ColabPro训练深度学习模型

尝试用ColabPro训练深度学习模型

导读:Colab中使用.ipynb文件,即我们平时使用的Jupyter.Notebook文件来完成相关代码的执行。如果要训练模型,需要将模型封装成可以经过ipynb文件执行的形式。.在具体的运行时类型中,可以选择不同的运行时,其中包含了可选的GPU和CPU。GPU中有V100、A100

Colab中使用.ipynb文件,即我们平时使用的Jupyter Notebook文件来完成相关代码的执行。如果要训练模型,需要将模型封装成可以经过ipynb文件执行的形式。

在具体的运行时类型中,可以选择不同的运行时,其中包含了可选的GPU和CPU。GPU中有V100、A100、T4这几种可以选择,在选择相应的资源连接后,会进入一个类似远程访问的状况。整个Colab的WorkSpace都在Linux/Unix系统下的一个名为/content的文件夹中,在Colab中内置了绝大部分使用到的深度学习的如TensorFlow、Pytorch这类的库。

在Colab Research中,可以选择新建笔记本,新建的笔记本内容会与当前登录账号的Google Drive相连,会在当前的Google Drive目录下新建一个目录,名为Colab NoteBooks,在Colab中新建的笔记本的.ipynb文件会存放在这一目录下面。

由于Colab长期占着GPU资源不用会被判定为一种不好的行为,最好的方法建议是写好.ipynb文件确定能在本地跑起来之后,和数据集打包一起压缩上传到Google Drive上。

这里需要注意,在Colab的实例中上传到机器的/content文件夹目录下的文件都是暂时的,这些临时文件是不太可靠的,往往会出现的情况是12小时内不继续运行实例或者一段时间不使用这些文件就会使得它们消失。

如何解决12个小时的自动断开问题:最简单的解决方法就是每隔一段时间重新挂载看一下,另一种方法是使用一种自动重连的插件,名为Auto reconnect colab,具体不再赘述。

如果一定要上传临时文件,是无法直接上传文件夹的。一种比较可靠的方法是上传打包好的压缩文件之后进行解压。

因此最好的办法可能是将Google Drive最为一个长期的用于存放数据集和相关训练参数保存的位置。需要注意的是,Google Drive和Colab的交互十分依赖网络,因此出现两边不同步是非常正常的现象。

那么做的第一件事是需要对Google Drive进行挂载,挂载Google Drive有两种常见的形式:

(1)快捷键刷新:在Colab的文件夹样式的图标中,点击展开,就能发现一排快捷键,刷新即可看到Google Drive目录下的相关内容:

(2)使用代码挂载:

1 from google.colab import drive
2 drive.mount('/content/drive/')

通过将上述代码段在Cell中执行,能够使得Google Drive中的云盘资料被挂载到当前的具体目录下面,刷新一下,就能看到Google Drive中的相关内容出现在目录中,点击运行后,会出现一个类似网盘验证码的相关内容

在Colab中,执行命令的方法也和一般的不太一样,一般而言可以这样处理,即在单元格中书写需要之后运行的命令。在Colab提供的运行命令的方式中,在要运行的终端命令之前需要加上!,例如我们需要安装某个python库xxxxxx,并且使用pip包管理器来安装,那么命令可以按照如下输入:

!pip install xxxxxx

或者需要运行相应的模型python文件的时候也有如,我们需要运行名为xxxxxx.py的文件,即有:

!python xxxxxx.py

补充:如果要运行shell命令,如我们在Linux系统中常用的cd命令,那么需要在命令之前加上%

内容
  • 《领域驱动设计》:从领域视角深入仓储(Repository)的设计和实现
    《领域驱动设计》:从领域视角深入
    2023-12-04
    一、前言 “.DDD设计的目标是关注领域模型而并非技术来创建更好的软件,假设开发人员构建了一个SQL,并将它传递给基础设
  • Leetcode刷题本地debug框架搭建
    Leetcode刷题本地debu
    2023-12-04
    思路.1. 初版.cmake + 单一.cpp文件.参考:https://blog.songjiahao.com/arc
  • JVM调优篇:探索Java性能优化的必备种子面试题
    JVM调优篇:探索Java性能优
    2023-12-04
    JVM内存模型.首先面试官会询问你在进行JVM调优之前,是否了解JVM内存模型的基础知识。这是一个重要的入门问题。JVM
  • 游戏中模型动画的几种实现方式
    游戏中模型动画的几种实现方式
    2023-12-02
    游戏内动画的实现方式一般有这几种:.骨骼动画.顶点动画.材质动画.CPU蒙皮动画.骨骼动画.骨骼动画是一种基于骨骼系统的
  • 驱动开发:内核文件读写系列函数
    驱动开发:内核文件读写系列函数
    2023-12-02
    在应用层下的文件操作只需要调用微软应用层下的API函数及C库标准函数即可,而如果在内核中读写文件则应用层的API显然是无
  • 详解驱动开发中内核PE结构VA与FOA转换
    详解驱动开发中内核PE结构VA与
    2023-12-02
    摘要: 本文将探索内核中解析PE文件的相关内容。.本文分享自华为云社区《驱动开发:内核PE结构VA与FOA转换》,作者:
  • Unity3D学习记录02——PloyBrush场景搭建
    Unity3D学习记录02——P
    2023-12-01
    首先在Window->Package Manager里面搜索Poly Brush,下载后将URP的Shader样例导入.
  • 时尚个性针织毛衣
    时尚个性针织毛衣
    2023-12-11
    时尚个性针织毛衣.时尚个性针织毛衣一直是秋冬季节的必备单品,不仅可以很好地保暖,还能展现出个性与时尚。无论是女性还是男性
  • 休闲简约短袖衬衫
    休闲简约短袖衬衫
    2023-12-21
    休闲简约短袖衬衫.现代人生活节奏快,休闲简约的穿着成为时尚潮流。短袖衬衫作为经典的休闲单品,一直备受时尚人士的青睐。它舒
  • 经典款皮鞋
    经典款皮鞋
    2023-12-06
    经典款皮鞋.经典款皮鞋一直是时尚界的永恒之选,不论是商务场合、休闲聚会还是正式场合,都能展现出绅士淑女的气质和优雅。今天
  • 修身弹力牛仔裤
    修身弹力牛仔裤
    2023-12-26
    修身弹力牛仔裤:展现你的魅力.一、时尚的必备单品.修身弹力牛仔裤一直都是时尚界的必备单品,它不仅可以展现出个人的魅力,还
  • 可爱儿童内衣套装,优质棉质,柔软透气,呵护宝宝肌肤
    可爱儿童内衣套装,优质棉质,柔软
    2024-01-05
    可爱儿童内衣套装,优质棉质,柔软透气,呵护宝宝肌肤.宝宝的皮肤是非常娇嫩的,所以选择合适的内衣套装对于宝宝的健康和舒适至
  • 优雅复古半身裙,散发优雅复古气息
    优雅复古半身裙,散发优雅复古气息
    2024-01-15
    优雅复古半身裙,散发优雅复古气息.复古是一种永不过时的时尚趋势,它总能让人们联想到过去的美好时光。而半身裙则是女性衣橱里
  • 时尚修身连衣裙,展现优雅女性魅力
    时尚修身连衣裙,展现优雅女性魅力
    2023-12-06
    时尚修身连衣裙,展现优雅女性魅力.时尚修身连衣裙一直是女性衣橱里的必备单品,不仅款式多样,而且能够展现出女性的优雅魅力。
  • 潮流风衣大衣,彰显都市时尚风采
    潮流风衣大衣,彰显都市时尚风采
    2023-12-16
    潮流风衣大衣,彰显都市时尚风采.潮流风衣大衣一直是时尚界备受追捧的单品之一。它既能为我们遮风挡雨,又能为我们穿出时尚感,
  • 暖心家居服套装,柔软舒适,可爱**形象,让宝宝安心入睡
    暖心家居服套装,柔软舒适,可爱*
    2023-12-16
    暖心家居服套装,让宝宝安心入睡.宝宝的睡眠质量对成长发育至关重要,而穿着舒适的家居服对宝宝的睡眠质量有着直接的影响。为了
  • 时尚儿童牛仔裤,经典款式,耐穿耐磨,让宝宝更有个性
    时尚儿童牛仔裤,经典款式,耐穿耐
    2024-01-10
    时尚儿童牛仔裤引领潮流.时尚儿童牛仔裤一直是儿童服装中的经典款式,不仅经典耐穿,而且可以展现宝宝的个性。随着时尚的发展,