Comment représenter une image comme état dans une Q-Table

Question

J'essaye de faire du Q-Learning avec les jeux Atari en utilisant le gym Package de Python.

Je veux utiliser l'image comme état de mon algorithme, mais j'ai fait doute: L'état est-il toutes les possibilités de tous les pixels de l'image?

J'ai vu de nombreuses implémentations Q-Learning, et dans la Table Q, ils stockent toujours tous les états possibles comme des lignes, et les actions comme des colonnes (par exemple, https://www.learndatasci.com/tutorials/reinforcement-q-learning-scratch-python-openai-gym/)

Sans faire des mathématiques, tous les états possibles pour, disons, une image en niveaux de gris 200x200 est folle. Comment puis-je gérer ce problème sans faire de réseaux de neurones?

Je suppose qu'il doit y avoir une approche pour ce scénario, mais je n'ai pas trouvé de bon exemple.

Merci!!