TensorFlow在win10上的安装与使用（二）

在上篇博客中已经详细的介绍了tf的安装，下面就让我们正式进入tensorflow的使用，介绍以下tf的特征。

首先tf有它独特的特征，我们在使用之前必须知晓：

使用图 (graph) 来表示计算任务，tf把计算都当作是一种有向无环图，或者称之为计算图。
计算图是由节点（node）和边（edge）组成的，节点表示运算操作，边就是联系运算操作之间的流向/流水线。
使用张量（ tensor） 表示数据，张量用来表示在节点间流动的数据，可想，如果没有数据传输，计算图仅表示一个关系，无实际意义。
在被称之为 会话（Session）的上下文 (context) 中执行图，计算图和数据之后，接下来便是要执行计算图，Session是tf使用的交互式接口。
通过 变量 (Variable) 维护状态，这就是参数，在运行计算图的过程中并不是所有的数据都要保存，我们仅仅保存的是Variable，而且是不断的被更新。
使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据.

以上是tf的基本特征，这在上篇博客的例子中可以清晰的看到。另外，更值得一提的是tensorboard，用以可视化计算图或监控tf的运行过程，这在caffe中是比较缺乏的，非常值得学习。可以用下面的一段话概括这个过程：

TensorFlow 是一个编程系统, 使用图（graph）来表示计算任务。图中的节点（node）被称之为 op (operation 的缩写)。一个 op 通过边（edge）获得 0 个或多个 Tensor, 执行计算, 产生 0 个或多个 Tensor。每个 Tensor 是一个类型化的多维数组。例如, 你可以将一小组图像集表示为一个四维浮点数数组, 这四个维度分别是 [batch, height, width, channels]。一个 TensorFlow 图描述了计算的过程。为了进行计算, 图必须在会话（Session）里被启动，同时，图中必须为建立的节点喂入数据（feed），会话将图的op分发到诸如 CPU 或 GPU之类的设备上, 同时提供执行 op 的方法。这些方法执行后, 将产生的 tensor（或Variable） 返回，根据需要取回数据（fetch）。在 Python 语言中, 返回的 tensor 是 numpy ndarray 对象; 在 C 和 C++ 语言中, 返回的 tensor 是tensorflow::Tensor 实例。

从图的角度来看这个过程，其实就是在构建图和执行图，构建图，描述的是节点运算之间的关系；而执行图，则是在会话中执行这个运算关系，这很好的帮我们理解tf的原理。

下面分别介绍这几个关键的特征，从而达到承上启下的作用。

计算图

TensorFlow 支持 C, C++, Python 编程语言。目前, TensorFlow 的 Python 库更加易用, 它提供了大量的辅助函数来简化构建图的工作, 这些函数尚未被 C 和 C++ 库支持。因此大部分的我们都是使用python语言，这在很多框架上已然被证明。既然已经说了计算图分成两步，那分别介绍以下它们。

构建图

构建图的第一步, 是创建源操作 op (source op)。源操作不需要任何输入，例如常量(Constant)。源操作的输出被传递给其它节点做运算。Python 库中, 操作构造器的返回值代表被构造出的操作的输出, 这些返回值可以传递给其它操作构造器作为输入。TensorFlow Python 库有一个默认图 (default graph), 操作构造器可以为其增加节点。这个默认图对许多程序来说已经足够用了。阅读 Graph 类文档来了解如何管理多个图。

import tensorflow as tf
# 创建一个常量操作, 产生一个 1x2 矩阵. 这个操作代表一个节点
# 加到默认图中.
# 构造器的返回值代表该常量操作的返回值.
matrix1 = tf.constant([[3., 3.]])

# 创建另外一个常量操作, 产生一个 2x1 矩阵.
matrix2 = tf.constant([[2.],[2.]])

# 创建一个矩阵乘法 matmul 操作, 把 'matrix1' 和 'matrix2' 作为输入.
# 返回值 'product' 代表矩阵乘法的结果.
product = tf.matmul(matrix1, matrix2)

默认图现在有三个节点, 两个 constant() 操作, 和一个matmul() 操作。关系已经建立了，下面就要第二步了。

启动图

构造阶段完成后, 才能启动图。启动图的第一步是创建一个 Session 对象, 如果无任何创建参数, 会话构造器将启动默认图。例如我们之前的那个例子，直接

sess = tf.Session()

启动默认图。之后就要执行计算图，with块执行完后，会自动关闭会话，如下：

with tf.Session() as sess:
  result = sess.run([product])
  print (result)

另外，上文有提到"同时，图中必须为建立的节点喂入数据，会话将图的op分发到诸如 CPU 或 GPU之类的设备上, 同时提供执行 op 的方法"，这也就是分布式执行，以充分利用可用的计算资源(如 CPU 、 GPU)。一般不需要显式指定使用 CPU 还是 GPU, TensorFlow 能自动检测。如果检测到 GPU, TensorFlow 会尽可能地利用找到的第一个 GPU 来执行操作。如果机器上有超过一个可用的 GPU, 除第一个外的其它 GPU 默认是不参与计算的。为了让 TensorFlow 使用这些 GPU, 你必须将 op 明确指派给它们执行。 with...device 语句用来指派特定的 CPU 或 GPU 执行操作:

with tf.Session() as sess:
  with tf.device("/gpu:1"):
    matrix1 = tf.constant([[3., 3.]])
    matrix2 = tf.constant([[2.],[2.]])
    product = tf.matmul(matrix1, matrix2)

设备用字符串进行标识，目前支持的设备包括:

“/cpu:0”: 机器的 CPU。
“/gpu:0”: 机器的第一个 GPU, 如果有的话。
“/gpu:1”: 机器的第二个 GPU。
以此类推......

2.交互式使用

上面的示例使用一个会话 Session 来启动图, 并调用 Session.run() 方法执行操作。为了便于使用诸如 IPython 之类的 Python 交互环境, 可以使用 InteractiveSession 代替 Session 类, 使用 Tensor.eval() 和 Operation.run() 方法代替 Session.run()。这样相当于运行我们想要的关系图，不是默认的整个计算图，这之间的依赖或者参数传递关系tf会自动找到。

# 进入一个交互式 TensorFlow 会话.
import tensorflow as tf
sess = tf.InteractiveSession()

x = tf.Variable([1.0, 2.0])
a = tf.constant([3.0, 3.0])

# 使用初始化器 initializer op 的 run() 方法初始化 'x' 
x.initializer.run()

# 增加一个减法 sub op, 从 'x' 减去 'a'. 运行减法 op, 输出结果 
sub = tf.subtract(x, a)
print (sub.eval())

3.Fetch

为了取回操作的输出内容, 可以在使用 Session 对象的 run() 调用执行图时, 传入一些 tensor, 这些 tensor 会帮助你取回结果。在之前的例子里, 我们只取回了单个节点 state, 但是你也可以取回多个 tensor:

import tensorflow as tf
import numpy as np

with tf.Session() as sess:
    with tf.device("/cpu:0"):
        a = tf.constant(3.0)
        b = tf.constant(2.0)
        c = tf.constant(5.0)
        intermed = tf.add(b, c)
        mul = tf.multiply(a, intermed)
        result = sess.run([mul, intermed])
        print (result)

需要获取的多个 tensor 值，在 op 的一次运行中一起获得（而不是逐个去获取 tensor）。

4.Feed

上述示例在计算图中引入了 tensor, 以常量或变量的形式存储。TensorFlow 还提供了 feed 机制, 该机制可以临时替代图中的任意操作中的 tensor 可以对图中任何操作提交补丁, 直接插入一个 tensor。feed 使用一个 tensor 值临时替换一个操作的输出结果。你可以提供 feed 数据作为 run() 调用的参数。feed 只在调用它的方法内有效, 方法结束, feed 就会消失。最常见的用例是将某些特殊的操作指定为 "feed" 操作, 标记的方法是使用 tf.placeholder() 为这些操作创建占位符。

import tensorflow as tf
import numpy as np

with tf.Session() as sess:
    with tf.device("/cpu:0"):
        a = tf.placeholder(tf.float32)
        b = tf.placeholder(tf.float32)
        output = tf.multiply(a, b)
        print (sess.run([output], feed_dict={a:[7.], b:[2.]}))