1.了解生成式对抗网络

  1. Continuous dynamic gesture recognition
    based on acceleration sensor

生成式对抗网络：采用神经网络作为模型类型的博弈式的训练过程

生成模型+判别模型

生成模型的目标是让判别模型无法区分真实的值与训练出来（生成模型出来的）的值

数学语言描述：

假设生成模型是g(z)，其中z是一个随机噪声，而g将这个随机噪声转化为数据类型x，若拿图片问题举例，这里g的输出就是一张图片。D是一个判别模型，对任何输入x，D(x)的输出是0-1范围内的一个实数，用来判断这个图片是一个真实图片的概率是多大

Pr和Pg分别代表真实图像的分布与生成图像的分布：

判别模型的目标函数

GAN(生成式对抗网络)学习笔记，手势识别论文笔记

优化目标函数

GAN(生成式对抗网络)学习笔记，手势识别论文笔记

公式中D(x)表示x属于真实图片的概率，因而，优化D的时候就是让V(D,G)最大，优化G的时候就是让V(D,G)最小。

处理办法：分别对D和g进行交互迭代，固定g，优化D，一段时间后，固定D再优化g，直到过程收敛，如下图：左侧的图是来自真实的数据，右图是来自生成模型的数据

优化G，使它尽可能的让D混淆。优化D，使它尽可能的能区分出假冒的东西。

当D无法区分出事件的来源的时候，可以认为，G和M是一样的。从而，我们就了解到了黑盒子中的东西

GAN(生成式对抗网络)学习笔记，手势识别论文笔记

训练开始，判别模型是无法很好地区分真实样本和生成样本的。接下来固定生成模型，而优化判别模型时，优化结果如第二幅图所示，可以看出，这个时候判别模型已经可以较好的区分生成数据和真实数据了。第三步是固定判别模型，改进生成模型，试图让判别模型无法区分生成图片与真实图片，在这个过程中，可以看出由模型生成的图片分布与真实图片分布更加接近，这样的迭代不断进行，直到最终收敛，生成分布和真实分布重合

GAN(生成式对抗网络)学习笔记，手势识别论文笔记
GAN(生成式对抗网络)学习笔记，手势识别论文笔记

上述即是G和D的训练过程。其中在每次迭代中，梯度下降K次来训练D，然后梯度下降一次来训练G，之所以这样做，是因为D的训练是一个非常耗时的操作，且在有限的集合上，训练次数过多容易过拟合。

论文笔记：

系统流程图

GAN(生成式对抗网络)学习笔记，手势识别论文笔记

采集数据——信号截取——数据处理——特征提取——训练模型——分类识别——人机交互

采集数据：利用Android原生API实现数据采集

方法：调用API接口实现

信号截取：监测手势动作的开始与结束

方法：门限阈值和信号差分运算

需要注意地方：在截取信号的时候，有的时候在对手势有效动作进行识别过程中，截取的加速度数据可能包含了用户误操作，如轻微的抖动和手姿态的转变。为了提高识别精度和效率，必须去除这些干扰信号，通过对连续手势运动特性和实验的采样频率的分析，定义当截取的手势数据样本长度大于 80 时为有效手势

详细步骤：

GAN(生成式对抗网络)学习笔记，手势识别论文笔记

难点或不足：阈值的设定，以及起点，终点的判断较为模糊，不够精确

截取的三轴加速度示意图及差分信号图：

GAN(生成式对抗网络)学习笔记，手势识别论文笔记

GAN(生成式对抗网络)学习笔记，手势识别论文笔记

数据处理：对截取的信号进行处理

方法：高通滤波，归一化

原因：

1.所测量的三轴加速度数据包含了重力信息，且每个轴受重力分量的影响随手势动作状态而相应变化，为了更准确地反映手势动作信号，可使用高通滤波去除重力分量

  1. 人手动作的差异性，不同个体做相同动作时加速度信号幅度和速度各不相同，这将会对识别精度造成影响，因此，通过式( 2) 和线性插值的方法对加速度信号进行归一化处理

GAN(生成式对抗网络)学习笔记，手势识别论文笔记
去除重力分量后的纯净加速度信号
GAN(生成式对抗网络)学习笔记，手势识别论文笔记

详细步骤：用户佩戴加速度传感器设备采集手部动作的加速度信号，经过高通滤波和归一化等预处理后发送给智能主机端( PC) ; 数据经过特征提取等后期处理后作为 HMM 学习模型的训练样本，在完成训练之后，学习模型即可对用户的特定手势进行有效的识别，并可将手势识别结果与计算机操作指令相结合来完成一些人机交互应用。

归一化前后对比图：
GAN(生成式对抗网络)学习笔记，手势识别论文笔记

特征提取：

采用提取样本均值方法来计算手势样本的特征表示，以缩减识别算法复杂度，满足系统的实时性要求，即将单个手势动作的加速度数据样本分割成若干段，每段取 L 个样本点，通过式( 3) 提取每段数据的样本均值( mean) 作为手势动作的关键特征
GAN(生成式对抗网络)学习笔记，手势识别论文笔记

式中 s( i) ，L 分别为第 i 时刻手势信号分割段中的样本值和分割段样本长度。

手势识别：

HMM 可由
λ = ( S，O，A，B，π) 来描述，亦可简写为
λ = ( A，B，π) ，其中，S 为隐含状态集合，O 为观测状态集合，A 为隐含状态的转移概率矩阵，B 为观测状态概率分布，π为初始状态概率分布向量。

四个步骤：

手势定义：在系统中定义有意义的手势，将( 0 ～ 9) 阿拉伯数字的各自书写动作定位为有效手势，并确定其书写规范。

手势建模：鉴于加速度数据的时序性，选用 Bakis 类型 HMM 分别对各个手势动作进行建模，并初始化模型参数
λi = ( A，B，
π) 。

手势动作模型训练：分别反复采集各个手势动作信号的数据，并利用Baum-Welch 算法来对手势模型
λi 进行训练，使模型参数尽可能趋于收敛，得出对应手势的最优 λi。

手势识别：选用 Viterbi 算法作为各个手势对应的 HMM 识别方法，即将输入手势的加速度特征序列分别与训练好的
λi 进行计算评估，取其概率输出最大的 λi 为对应手势动作的识别结果。