Adicionando recursos adicionais no Theano (CNN)

Question

Estou usando Theano para classificação (redes neurais convolucionais)

Anteriormente, usei os valores de pixel da imagem (achatada) como recursos do NN.Agora, quero adicionar recursos adicionais.
Disseram-me que posso concatenar esse vetor de recursos adicionais aos recursos de imagem achatada e depois usá-lo como entrada para a camada totalmente conectada, mas estou tendo problemas com isso.

Em primeiro lugar, será essa a abordagem correcta?

Aqui estão alguns trechos de código e meus erros:
Semelhante ao exemplo fornecido em seu site com algumas modificações

(da classe que constrói o modelo)

 # allocate symbolic variables for the data
 self.x = T.matrix('x')   # the data is presented as rasterized images
 self.y = T.ivector('y')  # the labels are presented as 1D vector of [int] labels
 self.f = T.matrix('f') # additional features

Abaixo, variáveis v e rng são definidos anteriormente.O que é importante é layer2_input:

layer2_input = self.layer1.output.flatten(2)
layer2_input = T.concatenate([layer2_input, self.f.flatten(2)])
self.layer2 = HiddenLayer(rng, input=layer2_input, n_in=v, n_out=200, activation=T.tanh)

(da turma que treina)

train_model = theano.function([index], cost, updates=updates,
          givens={
             model.x: train_set_x[index * batch_size: (index + 1) * batch_size],
             model.y: train_set_y[index * batch_size: (index + 1) * batch_size],
             model.f: train_set_f[index * batch_size: (index + 1) * batch_size]
          })

No entanto, recebo um erro quando train_model é chamado:

ValueError: GpuJoin: Wrong inputs for input 1 related to inputs 0.!
Apply node that caused the error: GpuJoin(TensorConstant{0}, GpuElemwise{tanh,no_inplace}.0, GpuFlatten{2}.0)
Inputs shapes: [(), (5, 11776), (5, 2)]
Inputs strides: [(), (11776, 1), (2, 1)]
Inputs types: [TensorType(int8, scalar), CudaNdarrayType(float32, matrix), CudaNdarrayType(float32, matrix)]

As formas de entrada representam as formas de x, y e f, respectivamente?

Se sim, o terceiro parece correto (batchsize=5, 2 recursos extras), mas por que o primeiro é um escalar e o segundo é uma matriz?

Mais detalhes:

train_set_x.shape = (61, 19200) [61 flattened images (160x120), 19200 pixels]
train_set_y.shape = (61,) [61 integer labels]
train_set_f.shape = (61,2) [2 additional features per image]
batch_size = 5

Tenho a ideia certa ou existe uma maneira melhor de fazer isso?Alguma ideia de por que estou recebendo um erro?

Answer 1

O problema era que eu estava concatenando no eixo errado.

layer2_input = T.concatenate([layer2_input, self.f.flatten(2)])

deveria ter ficado

layer2_input = T.concatenate([layer2_input, self.f.flatten(2)], axis=1)