县城文昌宫位于县城东南隅，现在是县委驻地，2005年被楚雄彝族自治州人民政府列为州级重点文物保护单位。
文昌宫是明景泰年间（1450～1456年）姚州土同知高梓桐赐建，万历三十七年（1609年），知府、土同知高映麒和生员靳一凤、万中选重建;清乾隆十八年（1753年），知府程家栋和知州翁甲重修，二十四年（1759年）知府杨重谷、知州屠可堂率绅士重修；咸丰同治年间，因乱被毁；光绪二十四年（1898年）知州黄启凤和邑人胡寿荣等重修，是二重堂木结构古代建筑。而今，为了让文昌宫再现昨日辉煌，姚安县于2008年将其翻新修整。
正殿5间明间的格子门，门上是胡寿荣书写的《文昌帝君阴骘文》一文，书法雕工堪称绝妙，《文昌帝君阴骘文》是道教文昌文化中劝人行善积德的名篇之一。 “阴骘”二字来源于《尚书?洪范》：“惟天阴骘下民，相协厥居”、“阴”是默的意思，“骘”是定的意思。意思是天虽然不说话，但却在冥冥中监督着人的善恶行为，然后惩罚或是奖励，劝人多积阴功阴德，为善不扬名，独处不作恶，这样就能得到暗中庇佑，赐予福禄寿。
胡寿荣精于制艺及近体诗，书法秀劲超群，颇有颜柳风骨。大家可以从文昌宫格子门上的《文昌帝君阴骘文》看出来。
胡寿荣，字衮臣，原籍姚安县土官庄，后来移居县城。幼年时家境贫寒，但胡寿荣读书奋发努力，光绪八年（1882）考中举人，光绪十八年（1892）考中进士，任礼部仪制司主事。在民族危机日益深重的形势下，于1895年4月，在北京毅然投入到康有为、梁启超倡导的“维新变法”运动中。在1300多人签名的“公车上 书”上签名。反对签订《马关条约》，拥护“拒和、迁都、变法”主张。1897年，胡寿荣参加了维新派的“保国会”活动。1898年9月20日，慈禧太后杀害“戊戌六君子”，通缉追随上 书签名者时，为了躲避缉捕，胡寿荣被迫弃官回到姚安。回到姚安后，他主持改建大成书院，在书院主持讲学。尽管胡寿荣在家乡得到父老乡亲的多方保护，但是，在清廷三次缉捕文书的追逼下，他为避免连累乡亲、为难地方官员，毅然于1911年吞金自尽，年仅39岁。
信息来源：姚安县人民政府