胶山寺位于胶山西山坡，始建于梁太清初年，距今已有1450年历史，这里原为萧庄，梁萧侍郎（佚其名）故宅，内有一泉，侍郎以此涤砚，名“涤砚池”（宋天圣邑令苏绅建有砚水亭）。梁天监六年（507）舍宅建佛寺，名胶山寺，太清间名“胶山弥勒寺”。隋大业五年（609）重建。唐代佛教天台宗第九祖高僧湛然（711～782），号荆溪，宜兴人，曾至胶山寺居住说法讲经。湛然圆寂后，寺中住持名其讲经处为“湛然堂”。唐咸通中，寺经大规模改建，寺院西向依东峰，与惠山寺相对，神奇巧合。
北宋至道年间，改称胶山兴化寺。南宋建炎中，无锡人抗金名相李纲请奉祀先祖，改额“崇亲报德禅院”。元末废，明洪武元年（1368），僧演古重建，重额“胶山寺”。寺中有窦乳泉、香花桥、萧卿墓。碎石坞、砺剑石，及后人重建的湛然堂。明桂坡公安国在寺左重整李忠定公祠，割田岁供春秋二祭，并复浚窦乳泉，葺其亭，额“蒙斋”，泉左有湛然讲堂，堂前有万玉亭，皆有诗铭碑刻。二泉邵文庄公也为李纲祠写了碑记。至正统又陆续修建，嘉靖十三年（1534），建梵王宫，塑金像。二十九年（1550），又构轩堂楼阁于寺左，分别题额为翠屏、环翠、分翠、听松。后又有僧静安迁造大佛殿、十笏堂、金刚殿。此时胶山寺已十分壮观。
寺坐南朝北，前有溪水，香花桥横跨其上。过桥有广场，后立山门，大雄宝殿居中，两旁配殿，大殿塑释迦牟尼、弥陀、药师佛三尊金像，高螺发髻跌坐，慧眼含笑，寺内有听松轩、环翠轩、秀峰轩、涤砚泉、窦乳泉。山麓旧有萧卿墓、碎石坞、砺剑石、金牛迹等古迹。
宋蔡载题胶山寺绣佛诗云：“妙相夺天真，针针巧入神；几多赡佛者，还想用心人。”
宋无锡知县苏绅胶山寺诗云：“驱马款禅扉，松风冷拂衣，红尘不到处，青嶂此忘归。鸟望生台下，云侵讲座飞，楞伽味真趣，转觉俗缘稀。”
现胶山寺已重建，寺东西山麓环植翠竹千竿，寺前有山门，内为大院，两旁配殿。大殿居中，五楹歇山顶，中悬茗山大师书写的“西方三圣殿”大匾，塑释迦牟尼、弥陀、药师佛。西侧有窦乳泉、李纲祠、关帝殿。关帝殿，祀关公、陈杲仁、张巡。原有楹联；“洗心割股，忠孝两全；荡寇除氛，江淮一靖。”1995年，茗山大师也书一联：“愿将东土三千界，尽种西方九品莲。”