UFLDL深度学习笔记（七）拓扑稀疏编码与矩阵化

2023年4月13日下午7:32 • 深度学习

主要思路

　　前面几篇所讲的都是围绕神经网络展开的，一个标志就是激活函数非线性；在前人的研究中，也存在线性激活函数的稀疏编码，该方法试图直接学习数据的特征集，利用与此特征集相应的基向量，将学习得到的特征集从特征空间转换到样本数据空间，这样可以用特征集重构样本数据。

数据集、特征集、基向量分别表示为$x、A、s$.构造如下目标代价函数,对估计误差的代价采用二阶范数，对稀疏性因子的惩罚代价采用一阶范数。原文中没有对误差项在数据集上做*均，真实情况下都会除以数据集个数$m$.

\[J(A,s)= \frac 1m||As-x||_2^2+\lambda||s||
\]

接下来，原文中解释说为了增强稀疏性约束，避免取$A$的缩放值也能获得相同的代价，稀疏性惩罚需要考虑特征集的数值，进一步改进代价函数为

\[J(A,s)= \frac 1m||As-x||_2^2+\lambda||s||+\gamma ||A||_2^2
\]

代价函数仍然存在L1范数的0点不可微问题，通过*似*滑解决，定义常量值*滑参数$\epsilon$, 将代价函数变成

\[J(A,s)= \frac 1m||As-x||_2^2+\lambda \sum_k \sqrt{s_k^2+\epsilon} +\gamma ||A||_2^2
\]

由于本代价函数非凸，而固定任意一个变量之后，代价函数是凸函数，所以可以通过交替固定$A,s$来求最优化代价的$A,s$. 理论上对上式最优化取得的特征集与通过稀疏自编码学习得到的特征集差不多，人类视觉神经具有一种特点，大脑皮层 V1 区神经元能够按特定的方向对边缘进行检测，同时，这些神经元（在生理上）被组织成超柱（hypercolumns），在超柱中，相邻神经元以相似的方向对边缘进行检测，一个神经元检测水*边缘，其相邻神经元检测到的边缘就稍微偏离水*方向。为了使算法达到这种 拓扑性 ，也就是说相邻的特征激活具有一定连续性、*滑性，我们将惩罚项也改造成考虑相邻特征值，在2X2分组情况下，把原来 $\sqrt{s_{1,1}^2+\epsilon}$这一项换成 $\sqrt{s_{1,1}^2+s_{1,2}^2+s_{2,1}^2 +s_{2,2}^2+ \epsilon}$ 。得到拓扑稀疏编码的代价函数为

\[J(A,s)= \frac 1m||As-x||_2^2+\lambda \sum_{all G} \sqrt{ \sum_{s \in G}s^2+\epsilon} +\gamma ||A||_2^2
\]

进一步用分组矩阵G来表示邻域分组规则，$G_{r,c}=1$表示第r组包含第c个特征，目标函数重写为

\[J(A,s)= \frac 1m||As-x||_2^2+\lambda \sum \sqrt{ Vss^T+\epsilon} +\gamma ||A||_2^2
\]

矩阵化推导

以上符号都是非常抽象意义上的变量，矩阵化实现时就需要考虑清楚每行每列的操作是不是按照预设的每一项运算规则实现的，原文中没有这部分内容，我也花费了一番功夫推导。

按照前文所说的交替求$A,s$最优化策略，我们需要先推导代价函数对$A,s$的偏导。设定矩阵表示展开为$A=[_{Wj,f}]_{visibleSize \times featureSize}$. $s=[S_{Wj,f}]_{featureSize\times m}$. 令$V=visibleSize, F=featureSize$.

$A$的梯度与最优取值

代价的一阶范数项对$A$求偏导为0.

\[\frac {\nabla J(A,s)} {W_{j,f}} =\frac 1 m \sum _i^m 2[W_{j,1}S_{1,i}+W_{j,2}S_{2,i}+…W_{j,F}S_{F,i} -x_{j,i}]S_{f,i}+ 2\gamma W_{j,f}
\]

单向合并成矩阵表示为

\[\frac {\nabla J(A,s)} {A} = \frac 2 m (As-x)s^T +2\gamma A
\]

同时我们发现此表达式为一阶方程，可以得到代价函数取极小值时的$A$。可得s固定时使代价函数最小的$A$为

即$$min J(A,s) \Leftrightarrow A = \frac {xs^T} {ssT+m \gamma I}; $$ .

$s$的梯度

展开代价函数并对$s$求解，

\[\begin{align} \frac {\nabla J(A,s)} { S_{f,i}} &= \frac 1 m \sum _j^V 2[W_{j,1}S_{1,i}+W_{j,2}S_{2,i}+…W_{j,F}S_{F,i} -x_{j,i}]W_{j,f}+ \frac {\nabla \lambda \sum_f^F \sum_i^m \sqrt {Gss^T+\epsilon }} {\nabla S_{f,i}} \\ &= \frac 1 m \sum _j^V 2[W_{j,1}S_{1,i}+W_{j,2}S_{2,i}+…W_{j,F}S_{F,i} -x_{j,i}]W_{j,f} + \lambda S_{f,i}\sum_l^F{\frac {g_{l,f}} {S\_smooth_{x,f}}} \end{align}
\]

其中$G=[g_{l,f}]_{F \times F}$ ,$g_{l,f}=1$表示第$l$组包含第f个特征。 S_smooth表示根据拓扑编码要求，对特征值的邻域进行*滑后的特征矩阵。

进行矩阵化改写，可以得到，两个求和式可以分别写成矩阵乘法：

\[\frac {\nabla J(A,s)} S = \frac 2 m A^T(As-x) + \lambda S \cdot (G^T {(1./ S\_smooth)})
\]

这个矩阵表达式不能得到使代价函数最小的$S$解析式，这个最优化过程需要使用迭代的方式获得，可以使用梯度下降这类最优化方法。

至此我们得到了编写代码需要的所有矩阵化表达。

代码实现

在本节实践实例中，主文件是 sparseCodingExercise.m ,对$A,s$的代价梯度计算模块分别是 sparseCodingWeightCost.m、sparseCodingFeatureCost.m. 按照上述矩阵推导分别填充其中的公式部分，全部代码见https://github.com/codgeek/deeplearning。

分别固定$A,s$进行最优化的步骤在sparseCodingExercise.m中，有几条需要注意的地方，否则将会很难训练出结果。

每次交替开始前,不能随机设定特征值，而是设定为 featureMatrix = weightMatrix'*batchPatches;
加载原始图像的函数sampleIMAGES.m中不能调用归一化normalizeData。和稀疏自编码不同。
前面推导的固定$s$时最优化$A$表示中千万不能漏掉单位矩阵，是$\gamma$乘以单位矩阵，不能直接加$\gamma$。公式为weightMatrix = (batchPatches*(featureMatrix'))/(featureMatrix*(featureMatrix')+gamma*batchNumPatches*eye(numFeatures));.

两个梯度公式代码如下。

function [cost, grad] = sparseCodingWeightCost(weightMatrix, featureMatrix, visibleSize, numFeatures,  patches, gamma, lambda, epsilon, groupMatrix)
%sparseCodingWeightCost - given the features in featureMatrix, 
%                         computes the cost and gradient with respect to
%                         the weights, given in weightMatrix
% parameters
%   weightMatrix  - the weight matrix. weightMatrix(:, c) is the cth basis
%                   vector.
%   featureMatrix - the feature matrix. featureMatrix(:, c) is the features
%                   for the cth example
%   visibleSize   - number of pixels in the patches
%   numFeatures   - number of features
%   patches       - patches
%   gamma         - weight decay parameter (on weightMatrix)
%   lambda        - L1 sparsity weight (on featureMatrix)
%   epsilon       - L1 sparsity epsilon
%   groupMatrix   - the grouping matrix. groupMatrix(r, :) indicates the
%                   features included in the rth group. groupMatrix(r, c)
%                   is 1 if the cth feature is in the rth group and 0
%                   otherwise.
    if exist('groupMatrix', 'var')
        assert(size(groupMatrix, 2) == numFeatures, 'groupMatrix has bad dimension');
    else
        groupMatrix = eye(numFeatures);
    end

    numExamples = size(patches, 2);

    weightMatrix = reshape(weightMatrix, visibleSize, numFeatures);
    featureMatrix = reshape(featureMatrix, numFeatures, numExamples);
    
    % -------------------- YOUR CODE HERE --------------------
    % Instructions:
    %   Write code to compute the cost and gradient with respect to the
    %   weights given in weightMatrix.     
    % -------------------- YOUR CODE HERE --------------------    
    linearError = weightMatrix * featureMatrix - patches;
    normError = sum(sum(linearError .* linearError))./numExamples;% 公式中代价项是二阶范数的*方，所以不用在开方
    normWeight = sum(sum(weightMatrix .* weightMatrix));
    
    topoFeature = groupMatrix*(featureMatrix.*featureMatrix);
    smoothFeature = sqrt(topoFeature + epsilon);
    costFeature = sum(sum(smoothFeature));% L1 范数为sum(|x|),对x加上*滑参数后,sum(sqrt(x2+epsilon)).容易错写为sqrt(sum(x2+epsilon))实际是L2范数
    
%     cost = normError + gamma.*normWeight;
    cost = normError + lambda.*costFeature + gamma.*normWeight;
    grad = 2./numExamples.*(linearError*featureMatrix') + (2*gamma) .* weightMatrix;
%     grad = 2.*(weightMatrix*featureMatrix - patches)*featureMatrix' + 2.*gamma*weightMatrix;
    grad = grad(:);

end

function [cost, grad] = sparseCodingFeatureCost(weightMatrix, featureMatrix, visibleSize, numFeatures, patches, gamma, lambda, epsilon, groupMatrix)
%sparseCodingFeatureCost - given the weights in weightMatrix,
%                          computes the cost and gradient with respect to
%                          the features, given in featureMatrix
% parameters
%   weightMatrix  - the weight matrix. weightMatrix(:, c) is the cth basis
%                   vector.
%   featureMatrix - the feature matrix. featureMatrix(:, c) is the features
%                   for the cth example
%   visibleSize   - number of pixels in the patches
%   numFeatures   - number of features
%   patches       - patches
%   gamma         - weight decay parameter (on weightMatrix)
%   lambda        - L1 sparsity weight (on featureMatrix)
%   epsilon       - L1 sparsity epsilon
%   groupMatrix   - the grouping matrix. groupMatrix(r, :) indicates the
%                   features included in the rth group. groupMatrix(r, c)
%                   is 1 if the cth feature is in the rth group and 0
%                   otherwise.

    if exist('groupMatrix', 'var')
        assert(size(groupMatrix, 2) == numFeatures, 'groupMatrix has bad dimension');
    else
        groupMatrix = eye(numFeatures);
    end

    numExamples = size(patches, 2);

    weightMatrix = reshape(weightMatrix, visibleSize, numFeatures);
    featureMatrix = reshape(featureMatrix, numFeatures, numExamples);

    linearError = weightMatrix * featureMatrix - patches;
    normError = sum(sum(linearError .* linearError))./numExamples;
    normWeight = sum(sum(weightMatrix .* weightMatrix));
    topoFeature = groupMatrix*(featureMatrix.*featureMatrix);
    smoothFeature = sqrt(topoFeature + epsilon);
    costFeature = sum(sum(smoothFeature));% L1 范数为sum(|x|),对x加上*滑参数后,sum(sqrt(x2+epsilon)).容易错写为sqrt(sum(x2+epsilon))实际是L2范数
    
    cost = normError + lambda.*costFeature + gamma.*normWeight;
    grad = 2./numExamples.*(weightMatrix' * linearError) + lambda.*featureMatrix.*( (groupMatrix')*(1 ./ smoothFeature) );% 不止(f,i)本项偏导非零，(f-1,i)……，groupMatrix第f列不为0的所有行对应项都有s(f,i)的偏导
    grad = grad(:);
end

训练结果

数据来源还是稀疏自编码一节所用的图片, 设定特征层包含121个节点，输入层为8X8patch即64个节点，拓扑邻域为3X3的方阵，运行200次训练，

当输入值为对应特征值时，每个激活值会有最大响应，所以把A矩阵每一行的64个向量还原成8*8的图片patch，也就是特征值了，每个隐藏层对应一个，总共121个。结果如下图. 可看出在当前参数下，相同迭代次数，cg算法的图片特征更加清晰。

lbfgs	cg

为了看到更精细的训练结果，增加特征层以及输入层节点数，特征层采用256个节点，输入层分别试验了14X14以及15X15，相应需要增加拓扑邻域的大小，采用5X5的方阵。迭代算法采用cg。特征的清晰程度以及拓扑结构的完整性已经和示例中的结果无差别。边缘特征有序排列。而当把输入节点个数增加到16X16, 训练效果出现恶化，边缘特征开始变得模糊，原因也可以理解，特征层已经不再大于输入层，超完备基的条件不成立了，得到的训练效果也相对变差。

14X14输入节点，拓扑5X5	15X15输入节点，拓扑5X5

增加输入节点的结果：

16X16输入节点，拓扑3X3	16X16输入节点，拓扑5X5

本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：UFLDL深度学习笔记（七）拓扑稀疏编码与矩阵化 - Python技术站

深度学习

0 0 打赏

微信扫一扫

支付宝扫一扫

UFLDL深度学习笔记（三）无监督特征学习

上一篇 2023年4月13日

深度学习对抗生成网络使用生成对抗网络生成图片

下一篇 2023年4月13日

深度学习面试题19：1*1卷积核的作用

　　举例　　在Inception module上的应用　　参考资料可以减少计算量，可以增加非线性判别能力举例假设有1个高为30、宽为40，深度为200的三维张量与55个高为5、宽为5、深度为200的卷积核same卷积，步长=1，则结果是高为30、宽为40、深度为55的三维张量，如图所示：该卷积过程的乘法计算量大约为5*5*200*30*40*55…

深度学习 2023年4月12日
000
语义分割：基于openCV和深度学习（一）

语义分割：基于openCV和深度学习（一） Semantic segmentation with OpenCV and deep learning 介绍如何使用OpenCV、深度学习和ENet架构执行语义分段。阅读完今天的文章后，能够使用OpenCV对图像和视频应用语义分割。深度学习有助于提高计算机视觉的前所未有的准确性，包括图像分类、目标检测，现在甚至分割…

深度学习 2023年4月13日
000
三维重建：QT+OpenNI+Kinect图像校正 Kinect+OpenNI学习笔记之(获取kinect的颜色图像和深度图像)

后记：当时能不放弃这个方向是因为这里面涉及了一种很有效的三位场景存储方式，可能给出除图元建模之外的一种三维场景描述方式。这和Flash与位图的对比一样，基于图元的flash始终抵不过基于点描述的位图格式。总结：OpenNI已经有了一个专门的语句对标定进行了封装，我们不需要再费力去使用自己的代码了。原文链接…

深度学习 2023年4月10日
000
深度学习笔记(二)：简单神经网络，后向传播算法及实现【转】

本文转载自：https://blog.csdn.net/u014595019/article/details/52557623 在之前的深度学习笔记(一):logistic分类中，已经描述了普通logistic回归以及如何将logistic回归用于多类分类。在这一节，我们再进一步，往其中加入隐藏层，构建出最简单的神经网络 2.1 大概描述和公式表达…

深度学习 2023年4月13日
000
深度学习——L0、L1及L2范数

在深度学习中，监督类学习问题其实就是在规则化参数同时最小化误差。最小化误差目的是让模型拟合训练数据，而规则化参数的目的是防止模型过分拟合训练数据。参数太多，会导致模型复杂度上升，容易过拟合，也就是训练误差小，测试误差大。因此，我们需要保证模型足够简单，并在此基础上训练误差小，这样训练得到的参数才能保证测试误差也小，而模型简单就是通过规则函数来实现的。规则…

深度学习 2023年4月10日
000
SLAM会被深度学习方法取代吗？

日益感觉到自己对深度学习的理解比较肤浅，这段且当做是以前的认识。上上周去围观了泡泡机器人和AR酱联合举办的论坛。在圆桌阶段，章国峰老师提了一个问题：SLAM会被深度学习方法取代吗？这是一个很有趣的话题。参会的各位大咖基本认为SLAM的某些模块有可能会被深度学习的方法取代，但SLAM本身不会被取代。视＋的CEO则认为SLAM整体上会被深度学习取代。我的观点…

深度学习 2023年4月13日
000
NLP

自然语言处理神经网络模型入门概述

深度学习对自然语言处理领域产生了巨大影响。但是，作为初学者，您从哪里开始？深度学习和自然语言处理都是一个巨大的领域。每个领域需要关注的突出方面是什么，深度学习对NLP的哪些领域影响最大？在这篇文章中，您将发现有关自然语言处理深度学习相关的入门知识。阅读这篇文章后，您将知道：对自然语言处理领域影响最大的神经网络架构。可以通过深度学习成功解决的自然语…

2023年2月12日
000
PGL图学习之基于GNN模型新冠疫苗任务[系列九]

本项目讲了论文节点分类任务和新冠疫苗任务，并在论文节点分类任务中对代码进行详细讲解。PGL八九系列的项目耦合性比较大，也花了挺久时间研究希望对大家有帮助。 PGL图学习之基于GNN模型新冠疫苗任务[系列九] 项目链接：https://aistudio.baidu.com/aistudio/projectdetail/5123296?contributionT…

深度学习 2023年4月13日
000

UFLDL深度学习笔记（七）拓扑稀疏编码与矩阵化

主要思路

矩阵化推导

\(A\)的梯度与最优取值

\(s\)的梯度

代码实现

训练结果

UFLDL深度学习笔记 （七）拓扑稀疏编码与矩阵化

主要思路

矩阵化推导

\(A\)的梯度与最优取值

\(s\)的梯度

代码实现

训练结果

相关文章

UFLDL深度学习笔记（七）拓扑稀疏编码与矩阵化