The solution
$elem = $xml.CreateElement("Site");
$elemAttr = $xml.CreateAttribute("Title");
$elemAttr.InnerXml = "Stack "Stacky" Overflow";
$elem.SetAttributeNode($elemAttr);
XML output:
<Site Title="Stack "Stacky" Overflow" />