壶口之东，距河岸约2O公里处，有一座古老的大山，这里有一望无际的千年古树，绿荫蔽日，景色宜人，兼有众多传说，这就是黄土高原晋西南边陬有名的人祖山。最早见于史书记载的是《史记》，说它是一个荒凉的地方，叫狄城或翟城，晋文公避骊姬之难时曾在这里住过五六年，但没有讲这座山叫什么名字。
到公元527年郦道元写《水经注》时，说它叫风山。因为传说中的女娲氏是风姓人，后人（约在宋朝前后）为了塑造这个山与风姓人的关系，说：“人根之祖曾在吉州”，将它改称人祖山。这些说法尽管有些荒谬、臆造，但作为一地风光仍受到人们的保护，屡增建筑，越来越完整地向传说中的人祖山方面发展，给这里留下众多宝贵文化遗产。人祖山主峰为人祖庙，海拔1742.4米，周围建有大小庙宇16座。