加里王府宫殿位于县城南侧的高台地北缘，建筑群所在地属下江乡，海拔3880米。
宫殿现存建筑遗存根据其始建年代大致可分为三期：
早期建筑——旧宫“扎西群宗”
中期建筑——新宫“甘丹拉孜”（亦称拉加里颇章）
晚期建筑——夏官
一、旧宫“扎西群宗”
该建筑位于新宫甘丹拉孜西侧约180米处，位置稍低于新宫，占地范围南北长100米，东西宽70米，总面积7000平方米。
宫殿由石砌围墙环绕，现仅存东、南墙体及西墙残段。西墙残长16米，残高5——8米；东墙基本完整，走向有转折，其内墙尚存一段，内、外墙分别长40、70米；南墙与南宫门相连，其西端已颓毁。宫墙所用石块较规整，石块同以黄泥浆为粘合剂，外壁修抹整齐，最高处15米。
该建筑原在南、北两面辟有门道，北门已完全坍颓不存，南门尚存遗迹。南门共有两重，第一重设在宫墙外的东西向门廊，门朝西，宽６米，有石块砌出的石阶数级，由下而上通进门廊；第二重门道直接辟于南宫墙上部，门朝南，有高达十余米的阶梯通达门道宫殿的北部第二重门道辟于正北方向，由正门和侧门构成。正门没有门廊，阔7．5米，进深2．6米，共2柱，柱高2米；门廊高3．2米，宽3．2米。正门有本质门档三重，其上雕刻有莲瓣、连珠纹等，门枋上有彩绘莲花、牡丹等图案。门柱上有雕刻及彩绘图案，上承门档四重，其上亦有彩绘莲花等图案。侧门位于正门东侧，亦面向北，为甬道式。门道高6、宽1．6、深12米，全为石砌建筑，仅在门枋上有两朵木质斗枋以承门媚，门道顶部横设细木条，其上铺盖泥石。
宫墙内建筑多已颓毁或利用其残垣改建为民居，故其布局、形制已不可察。在甬道式侧门之上尚存门楼一间，面积约10平方米，南北辟有采光小窗一扇。
二、新宫“甘丹拉孜”甘丹拉孜是拉加里王宫现存建筑的主体部分，位于整个建筑群的东北部，由王宫、仓库、拉康、广场、马厩等一系列建筑单元构成，该建筑群北临河谷，东侧是一条人工壕堑，占地范围南北长120米，东西宽130米，总面积近16万平方米。
三、夏宫
夏宫位于新宫甘丹拉孜东北方向约1000米处的罗布林卡之中（现县行政大院内），北临江扎普久河，南依高崖，海拔3840米。
原建筑包括宫墙、浴池及宫殿等，现多已不存。夏宫原为拉加里王府避暑消夏游乐之处，现仅存一小型宫院。
该宫院位于今县行政办公大楼东北约50米处，为一四合院式宫殿。宫院坐北朝南，北面正房一排三问，通面阔18米，进深4米。东、西面各有厢房一间，中央为庭院。正、厢房前各没有石阶四级。正、厢房门窗皆设计成汉式格子棂窗及版门式样。正房明、次间辟版门共14槽，门上垂檐及窗上窗媚均镂刻彩绘有牡丹、莲花、凤凰、卷草等图案，一派汉式风格。
拉加里王系，是西-史上一支独立的地方割据势力，其先祖为吐蕃王室后裔鄂松的嫡系。公元10世纪后，该王系在山南曲松一带逐渐形成并发展起来，历经萨迦王朝（约1255——1353）和帕竹王朝（1354——1617）统治时期，仍保持着相对独立的地方统治特权。直至1959年西藏进行民主改革之前，拉加里王系还统辖有拉加里、桑日、加查、隆子四个宗，方圆达三、四里的广大地区。
拉加里王府宫殿的始建年代已难详考，仅从现存建筑遗存的诸特点加之实地调查资料综合分析，推测其三期建筑的大致年代如下：
早期建筑：约始建于公元13——14世纪左右。
中期建筑：主体部分始建于公元15——18世纪。
晚期建筑：约始建于公元15世纪末，现存部分已为现代所改建。
上述建筑在近现代都曾经过改建、修茸或移作它用的情况，所作年代推测均就其主要部分的始建时期而言。
王宫建筑是西藏古代建筑中的一个重要门类，能较为完整地保存至今者已十分罕见。拉加里王府宫殿建筑基本保持了原有的平面布局和建筑结构，在西藏古代王宫这样一个独特的门类中更是极为珍贵的。作为藏式王宫建筑，其中一些小木作，尤其是门枋之上斗拱的使用，无疑是融合了汉地古建筑的某些因素，因而也就具有了更为重要的研究价值。
拉加里王宫于1996年4月16日被列为自治区级重点文物保护单位，2001年6月25日被列为全国重点文物保护单位。