"Schermate virtuali" nei motori 3D (che mostrano su un muro un'altra parte del mondo 3D)

Question

Per chiarire il problema tecnico che ho, voglio descrivere la scena che ho in mente:

In una simulazione di computer 3D, voglio costruire una sorta di cabina (forma del cubo) che si trova isolato in un piano grande. C'è 1 porta per entrare nella cabina. Accanto a questa porta voglio mostrare un film suonando (file Avi o qualcosa del genere) sul muro della cabina. Se entri nella cabina, su tutti e 4 i lati voglio mostrare una proiezione virtuale del paesaggio 3D che si basa sull'input del video proiettato all'esterno: ogni pixel nel video sarà rappresentato come un cubo (RGB -> profondità di larghezza di altezza) . Il paesaggio risultante di cubi deve essere proiettato sulle pareti interne della cabina. E come utente, non sarai in grado di entrare in questa proiezione (è una finestra virtuale, non un portale).

Tecnicamente, per me questo si traduce in queste domande: voglio

1. mostra un film all'interno del mondo 3D su un muro

2. Accedi ai dati pixel di questo film

3. Trasforma al volo questi pixel in rappresentazione 3D di cubi

4. Mostra questi cubi come una proiezione virtuale su un muro nel gioco. (come una specie di teletrasporto visivo che non puoi attraversare)

Mi chiedevo quale motore 3D avrebbe permesso questo? Non mi dispiace alcun linguaggio di programmazione. Sono fluente in mono/.net o java, ma riesco a gestire C ++ o altre lingue (purché il motore sia ben documentato).

Cordiali saluti, Ruben.

PS: non so se questa domanda sia interessante per nessun altro. Almeno non nel tipo funzionale. Ma forse innesca un ipotetico interesse :)