Como usted dice, este es un error que tiene que ver con la traducción entre la capa Mayavi y la capa VTK. Pero por ahora podrías usar este atributo:
>> ax=mlab.axes()
>> ax.axes.font_factor
1.5
>> ax.axes.font_factor=2
Sin embargo, solo produce un pequeño aumento de tamaño, ya que rechaza los valores superiores a 2.