Can try like
$("#button").click(function() {
$(this).closest("div").toggleClass("RedColor GreenColor");
});
Or even try like
$("#button").toggle(function() {
$(this).closest("div").removeClass("RedColor").addClass("GreenColor");
}, function() {
$(this).closest("div").removeClass("GreenColor").addClass("RedColor");
});