云台山历史悠久，文化底蕴相当深厚。解放后，在云台山山脚下的高庙村挖掘出土了齐家文化类型的红陶罐、汉代灰陶盆等文物，还有新石器时期的仰韶文化遗址。相传很早以前，这里居住着一个姓高的农户，他主持在云台山的山顶上建了一座东岳泰山庙，故起名曰高家庙。虽然高家庙到底建于何时，暂时无从考证，但最迟可推至北宋崇宁年间，距今已有900多年的历史。当时，庙内就已经建有无量殿、灵官殿、圣母宫等宫殿。明洪武年间在庙宇四周筑起了堡墙，至今在云台观四周还有一些断壁残垣可见一斑。清雍正三年（1725年）建钟楼一座，并铸八卦大钟一鼎，据说这鼎大钟的声音洪亮，音色纯正，方圆五六十里都能听到钟声。民国9年大地震，庙宇多数被震塌。1987年，附近群众自筹资金重修无量殿、灵官殿、圣母宫、社稷宫和钟楼，这些宫殿的内外均有彩绘壁画，共有大象塑像16尊。其中灵官殿有邑人安维峻敬书的“护国佑民”牌匾一面；圣母宫悬有萧娴题写的“圣母宫”牌匾一面，鲁岱山下氏许行题写的“九天云袅”牌匾一面。
云台山西北边的山脚下建有高大雄伟的云台山剧场，每年春、秋两季，当地人都要在此各举行一次大型庙会，每次都要请有一定知名度的剧团唱四天四夜的秦腔。每到举行庙会的时候，云台山上下灯火辉煌，看戏的、焚香的、买货的，各地游客与商贩络绎不绝，简直热闹极了。此时，云台山变成了当地群众开展文化娱乐活动和进行商贸交流的重要场所。
1989年，云台山高家庙仰韶文化遗址被列入县级文物保护单位，立碑建档，加以保护。