Perché non utilizzare il codice sicuro non gestito in C#

Question

C'è un'opzione in C# per eseguire il codice incontrollato. In genere non è consigliabile farlo, poiché il codice gestito è molto più sicuro e supera molti problemi.

Comunque mi chiedo, se sei sicuro che il tuo codice non causerà errori e sai come gestire la memoria, allora perché (se ti piace il codice veloce) segui il consiglio generale?

Mi chiedo questo da quando ho scritto un programma per una videocamera, che ha richiesto una manipolazione bitmap estremamente veloce. Ho fatto da solo alcuni algoritmi grafici veloci e funzionano eccellenti sulle bitmap usando il codice non gestito.

Ora mi chiedo in generale, se sei sicuro di non avere perdite di memoria o rischi di arresti anomali, perché non usare il codice non gestito più spesso?

PS il mio background: sono un po 'rotolato in questo mondo di programmazione e lavoro da solo (lo faccio per alcuni anni) e quindi spero che questa domanda di progettazione del software non sia così strana. Non ho davvero altre persone là fuori come un insegnante per chiedere cose del genere.