À quoi ressemble MiniBatch pour LSTM?

Question

MiniBatch est une collection d'exemples qui sont introduits dans le réseau, (exemple après exemple), et le dos est effectué après chaque exemple. Nous prenons ensuite la moyenne de ces gradients et mettons à jour nos poids. Cela termine le traitement 1 minibatch.

J'ai lu ces articles

• [1]
• [2],
• À propos des entrées de rembourrage dans un minibatch pour qu'ils aient la même longueur
• et sur la préservation de l'état cellulaire Mais ce qui suit n'est toujours pas clair pour moi:

Question Partie A:

À quoi ressemblerait une entité minibatch pour LSTM? Dis, je veux qu'il reproduit Shakespeare, lettre par lettre (30 caractères à choisir).

Je lance LSTM, laissez-le prédire pour 200 caractères d'un poème, puis effectuez une propagation arrière. (Par conséquent, mon LSTM fonctionne avec 200 horodatages). Cela signifie-t-il que mon minibatch se compose d'un exemple dont la longueur est 200?

Question Partie B:

Si je voulais lancer 63 autres minibatchs en parallèle, devrais-je simplement choisir 63 poèmes supplémentaires? (Éditer: La réponse originale ne le mentionne pas explicitement, mais nous ne formons pas de minibatchs en parallèle. Nous nous entraînons sur 1 minibatch, mais entraînons son exemples en parallèle)

Question Partie C:

Si je voulais que chaque minibatch soit composé de 10 exemples différents, quels seraient de tels exemples et en quoi seraient-ils différents de «ce que je perçois comme un minibatch»?