各位大神你们好,对于下面的一个 layer 模型:
layer {
name: "conv1"
type: "Convolution"
bottom: "data"
top: "conv1"
param { lr_mult: 1 decay_mult: 1 }
param { lr_mult: 2 decay_mult: 0 }
convolution_param {
num_output: 96
kernel_size: 11
stride: 4
weight_filler {type: "gaussian" std: 0.01 }
bias_filler {type: "constant" value: 0}
}
}
之前我看了 UFLDL 教程,那里 filter 是事先通过同类的 training set 经过 Sparse Autoencoder 的得出的(模拟人类识别图像时,只有少部分神经活跃),自编码时 loss function 中还有个 KL_divergence 判罚,但这里使用的 loss function 没有该项。
此外,对 filter 进行配置的 weight_filler 和 bias_filler 是什么作用?是进行初始化的吗?
如果是,那 weight_filter 里面的 type 又是干嘛的?
如果不是, loss function 和 solvers 都已经给出了,这一项又有什么作用?
layer {
name: "conv1"
type: "Convolution"
bottom: "data"
top: "conv1"
param { lr_mult: 1 decay_mult: 1 }
param { lr_mult: 2 decay_mult: 0 }
convolution_param {
num_output: 96
kernel_size: 11
stride: 4
weight_filler {type: "gaussian" std: 0.01 }
bias_filler {type: "constant" value: 0}
}
}
之前我看了 UFLDL 教程,那里 filter 是事先通过同类的 training set 经过 Sparse Autoencoder 的得出的(模拟人类识别图像时,只有少部分神经活跃),自编码时 loss function 中还有个 KL_divergence 判罚,但这里使用的 loss function 没有该项。
此外,对 filter 进行配置的 weight_filler 和 bias_filler 是什么作用?是进行初始化的吗?
如果是,那 weight_filter 里面的 type 又是干嘛的?
如果不是, loss function 和 solvers 都已经给出了,这一项又有什么作用?