¿Selección limitada en un JTextfield/JTextComponent?

Question

Considere un JFormatTEDTextField (o cualquier JTextComponent, realmente) en el que hay un prefijo y un sufijo que se muestra en torno al "texto" real del campo.

Por ejemplo, el doble 3.5 sería la cadena (mediante el formato) "3.50" alrededor del cual sería el prefijo "$" y el sufijo "", para un texto de visualización de "$ 3.50".

Claramente, esto es simple de hacer. Sin embargo, el usuario aún puede seleccionar texto dentro del prefijo/sufijo, por lo que posiblemente pudieran eliminar la parte o la totalidad del prefijo/sufijo. Preferiría que el usuario sea restringido de tal manera que el prefijo/sufijo no se pueda seleccionar en absoluto (mientras aún es parte del campo de texto, por lo que no hay jlabels). Casi puedo lograr esto con un CARETListener (o anulando SetCaretPosition/MovecaretPosition), lo que evita que una CA seleccione todo el campo, y evita que el uso de las teclas de flecha se mueva al prefijo/sufijo. Sin embargo, el arrastre de mouse y las teclas de la flecha de cambio aún permiten que la selección se mueva a estas áreas restringidas.

¿Algunas ideas?