建水在西晋属宁州兴古郡；唐代前期为南宁州都督府属东爨地；南诏政权于唐元和年间（公元810年前后）在这里筑惠历城，隶于通海都督府。惠历为少数民族语言，意思是“大海”，汉语译为建水，这是建水得名的开始。
大理政权初建时，段思平封其舅爨判为巴甸侯，建水就是爨氏的封地。爨氏没落后，建水属秀山郡阿僰部地。
南宋宝祐元年（蒙古宪宗三年，公元1253年）蒙古军队征服云南后，设建水千户，隶阿僰万户。元至元十三年（1276）改为建水州，隶于临安路（路治在通海）。元至元十七年（1280）在建水置临安广西道宣抚司，后改为临安广西元江等处宣慰司，管辖临安、广西（今泸西县）、元江等路。
明代仍设建水州。革宣慰司，改临安路为临安府，府治移至建水，并在建水置临安卫，将原有土城拓地改建为砖城，下辖前、后、左、中、右所，驻兵5600名，镇守滇南。临安卫另辖通海守御所（二个千户所）和蒙自新安守御所（一个千户所）。
清初沿袭明代旧制。撤临安卫，在建水设临元广西镇总兵官，统领军务。后改为临元澄江镇。乾隆三十五年（1770），改建水州为建水县。
中国民国元年（1912）仍设临安府，废建水县。次年废临安府，复设县制，改建水县名为临安县，隶属蒙自道。民国3年（1914），因与浙江省临安县重名，仍改称建水县。民国18年（1929）废除道制，建水县直属省政府管辖。民国29年（1940）起建水县隶于云南省第三行政督察专员公署（署所设在建水城内），民国37年（1948）改称第五行政督察专员公署。
中华人民共和国成立后，建水县属蒙自专员公署。1957年红河哈尼族彝族自治州成立，建水县隶于红河哈尼族彝族自治州。
建水自汉武帝时设郡，还在古畹町时，就设为县，后来自蜀汉、晋、五代至唐代都如此，只是要么隶属于兴古，要么隶属于梁水，或者改属戎州都督府，从无例外。元和年间，南蒙占据，修筑惠历城于巴甸，译为建水，因此得名。经历两爨、六诏，附庸于元朝，开始时设置千户，隶属万户府。元十三年，改为建水州，隶属临安路。明洪武十五年，改路为府，原为土城，洪武二十年，宣宁侯金朝兴发文书指挥万余青壮年，拓宽城市，改建为砖城，为府辖地，建水附城是首邑。
古城周长六里三分，城墙高二丈五尺，四方设门，东为迎晖门，南为阜安门，西为清远门，北为永贞门，门头各建一镇楼，楼有三层，高四丈有余，兵备副使何纯增修濠堑，佥事刘福、副使谢秉中又铸炮筑台，副使王一言、王昊相继修建兵营，临安就此固若金汤。顺治丁亥年，李定国攻破城池，大肆屠戮，驱赶至空地被杀害的人达七万八千人，而战乱、自杀的还不算。西南北三城楼池同时被毁，东楼至今还在，有幸在浩劫中幸存下来。到康熙四年，平定祸乱，开始治理，知府曹得爵建北楼，守备李永芳建西楼，知州李承芳建南楼，方恢复原样，以后的官员人等随时修缮守卫，于是东南重遂巍然鼎立于三迤间。
雍正十三年知府石去浮增修城楼。
乾隆二年知州夏治源详修城墙城垣。
嘉庆十五年知府王善详修。
道光六年知府企善带领同僚戴泽、知县龚正谦及士绅捐修北面三城门。
同治六年，总兵梁士美及士绅民众投资，依城筑垒，建防御工事。
光绪四年，知县章于锦捐修钟楼及各城门。光绪八年西南北城楼城垣坍塌损坏，巡道沈寿榕、知府刘毓珂、知县秦述先暨士绅民众投资并请朝廷拨款重修三楼，西为挹爽楼，南为环翠楼，北为观光楼，加上东面的朝阳楼共为四楼。
光绪二十六年知府胡泰福、知县叶树勋让左营都司署作价修筑西南角坍塌的城墙四十多丈。
城池为近似矩形的不规则城池。东西城门在一条中轴上，但南北城门则相对错开。古城道路为不规则方格网状道路，道路狭窄，亲切宜人。传统建筑为合院式布局，灰色的坡屋顶鳞次栉比，颇具韵味。
1994年国务院批准建水为国家历史文化名城。
文物古迹众多。建水历史悠久，文物荟萃，是祖国西南边陲文物古迹较多的县之一。在1200多年的历程当中，形成了众多的古民居、古遗址、古寺、古塔、古桥、古井等历史遗迹。这些类型各不相同的文物古迹，不仅是建水各个历史时期经济社会发展的真实反映和营造技术的典范，也把建水文化发展推向了一个新的高峰。截止2018年4月，建水县共有国家级文物保护单位7处，省级文物保护单位11处，州级文物保护单位27处、县级文物保护单位102处，文物点358处，登记在册的文物点505处。因此，建水有“古建筑博物馆”之称。此外众多民居古色古香，富有特色，亦有“民居博物馆”之称。
历史悠久。在建水燕子洞曾经发现距今3500多年前新石器时代的古人洞穴遗址，战国时期至西汉时，建水一带的人类社会已跨入青铜时代。
文献名邦。临安广西道宣抚使张立道首创庙学于建水，是滇南兴教育之始，有“滇南邹鲁”、“文献名邦”和“诗书郡、礼乐邦”之誉称。
地位显赫。早在汉唐时期，由云南通往安南有一条“通海城路”，中经曲江和南亭（今建水南庄），建水即成为滇南的交通要冲。
文化独特。建水是一个有着深厚文化内涵的地方，这里古城、古屋、古桥、古井、古塔、古村、古寺随处可见。很多古老的建筑，都是融合了内地文化与边疆文化后建筑而成，非常精美并且极具地方特色。建水深受中原文化的影响，成为祖国西南边陲汉文化较发达的一座古城，并形成汉文化和彝、回、哈尼、傣、苗等少数民族文化相互交融而又各具特色，多元一体的边地文化。
在古城保护开发中创新提出了“政府引导，社会参与，产权不变，谁建谁有，统一规划，统一设计，财政补助，限时完成”的古城保护与恢复开发原则，并对所有恢复重建、新建项目的建筑风貌、层高、外立面进行严格控制，明确了“降建筑高度，降建筑密度，降人口密度”的“三降”原则，积极稳妥推进古城风貌保护与恢复工作，成功创造了以“产权不变，弹性红线，利益驱动，发展新城”为精髓的全国历史文化名城保护、建设、管理的“临安模式”，走出了一条独具特色、行之有效的名城保护新路子。建水正逐渐成为古城与新城交相辉映、传统文化与现代文明有机结合、人与自然和谐发展的人文宜居城市。