Está justo ahí en el wp_mail()
documentación (por debajo Uso):
El tipo de contenido predeterminado es 'Text/Plain' que no permite usar HTML. Puede establecer el tipo de contenido del correo electrónico utilizando el filtro 'wp_mail_content_type' (consulte el ejemplo a continuación), o incluyendo un encabezado como "Tipo de contenido: Text/HTML". Tenga cuidado de restablecer 'WP_MAIL_CONTENT_TYPE' Back to 'Text/Plain' después de enviar su mensaje, Sin embargo, porque no hacerlo podría conducir a problemas inesperados con correos electrónicos de WP o complementos/temas.
(énfasis mío)
El segundo ejemplo en la página le muestra cómo hacerlo (el ejemplo usa text/html
Pero deberías poder usar tu multipart/alternative
en cambio.