Kaggle上使用Tensorboard

Kaggle上使用Tensorboard

1. 前言

  • 想在Kaggle上使用Tensorboard,找了一圈。
  • 参考了Kaggle上的一个Code:Tensorboard on Kaggle
  • 但发现有些变化,Code中用到的内网穿透工具Ngrok需要加一个Token,所以需要注册一个Ngrok账号,免费获取一个通道的Token。

2. Kaggle上使用Tensorboard

2.1. 方法一

  • 其实直接把在Kaggle上跑出来的Tensorboard日志文件下载到本地,在本地启动Tensorboard即可查看。
  • 当然,这里主要讲在线的方法。

2.2. 方法二

  • 在线使用Tensorboard

2.2.1. 获取一个Ngrok的免费通道

  • 访问Ngrok,注册一个账号并登录
  • 登录后界面如下,复制并保存你的Token
    image

2.2.2. 调试运行代码

  • 主要参考Kaggle上的一个Code:Tensorboard on Kaggle
  • 建议分段运行,以避免中间出错,全部重新运行一次
  • 以下代码在Kaggle的Notebook中运行

(1) 环境准备

import tensorflow as tf # This is how we import tf
# Clear any logs from previous runs
# 清除以前运行的所有日志
!rm -rf ./logs/ 
!mkdir ./logs/

(2) 启动Tensorboard

# Download Ngrok to tunnel the tensorboard port to an external port
# 下载 Ngrok 以将 tensorboard 端口隧道传输到外部端口
!wget https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux-amd64.zip
!unzip ngrok-stable-linux-amd64.zip
# 添加自己在 Ngrok 上获取的专属Token
!./ngrok authtoken 粘贴你的专属Token
  • 注意这一步需要添加自己在 Ngrok 上获取的专属Token

image

# Run tensorboard as well as Ngrok (for tunneling as non-blocking processes)
# 运行 tensorboard 和 Ngrok(用于作为非阻塞进程的隧道)
import os
import multiprocessing

pool = multiprocessing.Pool(processes = 10)
# --logdir ./logs/ 是 TensorBoard 的日志文件(log)路径
# 你可以修改为你训练时的log保存路径(可以用绝对/相对路径),但相关的代码路径也要记得修改
results_of_processes = [pool.apply_async(os.system, args=(cmd, ), callback = None )
                        for cmd in [
                        f"tensorboard --logdir ./logs/ --host 0.0.0.0 --port 6006 &",
                        "./ngrok http 6006 &"
                        ]]
  • 获取访问 Tensorload 的URL,访问生成的URL即可看到 Tensorload 界面
  • 但还没有产生日志文件,所以现在还看不到有图形
! curl -s http://localhost:4040/api/tunnels | python3 -c \
    "import sys, json; print(json.load(sys.stdin)['tunnels'][0]['public_url'])"

image
image
image

(3) 创建和训练模型

(x_train, y_train),(x_test, y_test) = mnist.load_data()
x_train, x_test = x_train / 255.0, x_test / 255.0

def create_model():
  return tf.keras.models.Sequential([
    tf.keras.layers.Flatten(input_shape=(28, 28)),
    tf.keras.layers.Dense(512, activation='relu'),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Dense(10, activation='softmax')
  ])
import datetime
model = create_model()
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

log_dir = "logs/fit/" + datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
tensorboard_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir, histogram_freq=1)

model.fit(x=x_train, 
          y=y_train, 
          epochs=10, 
          validation_data=(x_test, y_test), 
          callbacks=[tensorboard_callback])
  • 产生日志文件后,就可以在打开的 Tensorboard 界面点击刷新,看到实时训练趋势了
    image

到底了 ?

原文链接:https://www.cnblogs.com/jhy-ColdMoon/p/17341992.html

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:Kaggle上使用Tensorboard - Python技术站

(0)
上一篇 2023年4月22日
下一篇 2023年4月22日

相关文章

  • Python之ascii转中文的实现

    概述 在Python中,我们可以使用内置的 chr() 和 ord() 函数来进行字符和ASCII码之间的相互转换。但是,如果我们需要把一堆ASCII码转成相应的中文怎么办呢?接下来,让我们来逐步实现实现这个转换的过程。 获取ASCII码值 首先,我们需要获取每个中文字符的ASCII码值。Python中的 ord() 函数可以帮助我们实现。我们可以使用下面的…

    python 2023年5月31日
    00
  • python删除文件示例分享

    下面是详细的python删除文件示例分享攻略。 概述 在开发的时候,有时候需要删除一些无用的文件,本文将分享python删除文件的几种方法,适用于不同场景。 方法一:使用os模块的remove()函数 os模块是python文件和目录处理的核心模块,其中包含了删除文件的函数remove()。其使用方法如下: import os os.remove(&quot…

    python 2023年6月2日
    00
  • Python内置函数dir详解

    Python内置函数dir详解 简介 在Python中,使用dir函数可以查看一个对象所包含的所有属性和方法,是Python的内置函数之一,使用非常广泛。本篇文章就详细介绍一下dir函数的用法。 用法 dir函数的基本使用方法如下: dir([object]) 其中,object参数是可选的,如果不传入则返回当前作用域内的名称列表,如果传入一个对象,则返回该…

    python 2023年6月3日
    00
  • windows中python实现自动化部署

    为了演示在Windows中使用Python实现自动化部署的完整攻略,我们需要先了解以下内容: Python的虚拟环境: 多个Python项目之间需要库的版本不同,使用虚拟环境可以隔离项目间的依赖,避免相互干扰。 Python的包管理工具: 程序需要依赖第三方库,需要使用包管理工具来下载和安装相应的依赖库。 Python的自动化部署工具:本文将以Fabric库…

    python 2023年5月19日
    00
  • Python中创建字典的几种方法总结(推荐)

    下面我就为你详细讲解“Python中创建字典的几种方法总结(推荐)”的完整攻略。 Python中创建字典的几种方法总结(推荐) 在 Python 中,字典是一种非常常用的数据类型,它可以存储无序的键/值对(key/value pairs)。创建字典的方式有多种,下面我们就来总结一下。 直接创建 最常见的创建字典的方式就是直接使用大括号 {} 进行创建。我们可…

    python 2023年5月13日
    00
  • Python3.6+selenium2.53.6自动化测试_读取excel文件的方法

    下面我将详细讲解 “Python3.6+selenium2.53.6自动化测试_读取excel文件的方法”的完整实例教程。 确认环境 首先要确保你已经安装了Python3和selenium库,否则需要先安装它们。 在Python3中安装selenium的命令: pip3 install selenium==2.53.6 同时还需要安装一个操作Excel的库x…

    python 2023年5月13日
    00
  • python 实现字符串下标的输出功能

    实现字符串下标的输出功能,可以通过 Python 中的下标索引来完成。下面是实现过程的详细攻略: 第一步:字符串定义 首先,我们需要先定义一个字符串,例如: string = "Hello, World!" 第二步:输出单个字符 要输出单个字符,我们只需要使用字符串的下标索引来获取对应位置的字符。Python 中的下标从 0 开始计算,例…

    python 2023年6月5日
    00
  • python开发实例之python使用Websocket库开发简单聊天工具实例详解(python+Websocket+JS)

    Python开发实例之Python使用Websocket库开发简单聊天工具实例详解 在Python中,可以使用Websocket库来开发实时聊天工具。Websocket是一种在单个TCP连接上进行全双工通信的协议,它可以在客户端和服务器之间实现实时通信。以下是使用Websocket库开发简单聊天工具的详细步骤。 安装 以下命令安装websocket库: pi…

    python 2023年5月15日
    00
合作推广
合作推广
分享本页
返回顶部