Как вы говорите, это ошибка, которая связана с переводом между слоем Mayavi и слоем VTK. Но сейчас вы можете использовать этот атрибут:
>> ax=mlab.axes()
>> ax.axes.font_factor
1.5
>> ax.axes.font_factor=2
Однако он дает только небольшое увеличение размера, поскольку он отвергает значения выше 2.