在东钱湖之东岸，福泉山高耸，绵亘数十里，大慈山兀立于西。其间有下水岙，南宋宰相史弥远葬慈母于此，故名“大慈山”。山麓有大慈寺，为史氏家庵。后史弥远亦葬于寺右。弥远子孙曾在慈云岭砌石百丈，垒成假岭，层峦叠嶂，松樟掩荫，四周群山环抱，前有一泓小溪，山水相映，宛若仙境，为钱湖东岸的旅游胜地。
大慈寺建于宋绍兴二十年(公元1150年)，规模甚大，当时住僧逾百，为浙东著名丛林。后被史氏请为功德寺，南宋宁宗特赐“教忠报国寺”门额。高僧大慧宗杲法孙物初大观法师，曾住持大慈寺，佛业大兴。入宋参学的日僧寒岩义尹禅师曾到此参禅，爱此山水，回日本后即创立大缥山(在今日本熊本市野田町)大慈寺，以纪念大慈寺的法缘。史弥远家族笃信佛教，又连续在大慈山兴建了宝华寺、悟空寺、妙智寺等道场。据传，史弥远为了奉承理宗朝延的杨太后前来避暑，特修建了太清宫、真德观、悟真观等行宫。又建成官驿河头，侍候官船靠岸，极盛一时。随着南宋覆亡，史氏家族日趋衰落，到明清时，这些寺庙多已毁圮。
目前大慈寺尚存山门和大殿前后二幢，旧貌依稀。现存大殿为五开间歇山式建筑，进深12.15米，宽11.10米，外檐廊上卷篷顶，枋间斗拱承托，殿内金柱呈梭状，柱础呈圆鼓形，下置覆盆，具有明显的明代木结构建筑造型特色。山门三开间，门前有石鼓一对，由踏阶跨越而进。寺前原有七石塔，高3丈许，风格奇古，雕刻精美，东南名刹无出其右，当地群众赞谓：“天童众塔，不如大寺一塔”。塔前有万工池，池畔原有两只大石龟，相对匍匐。
大慈寺北首数百步，即为南宋宰相史弥远之墓道，位于山岙正中。陵墓由人工堆土垒石而成，高数十仞，周数千步，与两旁山坡相接，凸立如山丘。墓四周原砌有石围墙，上覆石筒瓦盖顶，现仍可以辨认。墓周翠竹成荫，松樟掩映。神道两旁石翁仲、石兽依次屏立，墓道依山阶递升，长里许。居中尚存有祭亭，为五开间歇山顶，石柱承托。亭前有合抱银杏二棵，为百年古木，久已枯槁；1993年忽又枯木逢春，枝叶扶疏，直插云天。在神道前端有一拱洞石桥，小桥流水，古藤缠绕，桥前原有石牌坊一座，立有神道石碑。整个墓道气势非凡，惜八百年风雨，地面文物毁圮近半，或被淹没入土。民间流传着“史丞相造寿坟”故事一则：有一年，史弥远请来一个风水先生，相中了阿育王寺的“八吉祥六殊胜地”，建议史弥远在此建墓。育王寺方丈以其权倾朝野，无法阻挡。但有一名叫无准的小和尚，连夜赶到京城临今(今杭州)，在大街小巷贴满了传单，上写：“育王一宝地，常冒天子气；丞相要造坟，不知是何意？”消息传进皇宫，皇帝查问此事，史弥远深怕皇上问罪，招来灭族之祸，遂向皇上撒谎道：“臣的坟墓早已选在东钱湖大慈山之阴，请万岁明察。”同时连忙在大慈寺造寿坟，此事就此平息。
大慈山为福泉山余脉，山恋叠嶂，林深岩幽，是一个天然的植物园。山的四周有佳景“上林晓钟”，王安石庙，史诏、史渐等人墓道以及窑岙、刀子山等古窑址多处古迹，是一处供人鉴古、赏景、旅游的风景点。