Você mesmo disse, isso acontece porque o programa que está sendo compilado ainda está em execução.
No Windows, você não pode fazer alterações no arquivo exe de um programa enquanto ele está em execução.
É fantasticamente irritante e uma daquelas coisas que (para mim) torna o Windows um pouco menos confortável do que, por exemplo.Linux para desenvolvimento.