那烂陀所在地，在佛陀时代本来是庵末罗果园，五百个商人花了十亿金购买此地供予佛陀，佛陀于此说法三个月，商人们都证得圣果。

那烂陀城名原意是『赐莲之地』或『神知之地』，意译「施无厌」。源于佛陀过去生曾转世作大国王，以此地为国都，他悲天悯人，乐善好施，时人赞美国王为「施无厌」(梵文那烂陀)，后来建成的那烂陀即以此为名。

后来那烂陀寺从公元五世纪鸠摩罗笈多王始，不断增修扩建。至公元七世纪，在戒日王的大力支持下，那烂陀寺的规模宏大，建筑壮丽，藏书丰富，更成为世界佛教学术思想的一大中心，也是世界上第一所可供寄宿的综合国际大学，当时僧众高僧云集，学者辈出，学风鼎盛开放，僧人学者逾万人，是当时全印最大的佛教寺院，除了佛教经典外，还有逻辑、文法、医学、数学、艺术、建筑、农业、冶金术等等。

那烂陀寺历代人才辈出，佛教史上的伟大论师，很多都曾于这里修学，甚至担任住持或其它要职。例如阐扬中观思想、着有《中论》的龙树菩萨，着有《入中论》的月称大师;宏扬唯识学说、造《摄大乘论》的无着大师，造《唯识二十论》世亲大师;演绎因明理论、着《集量论》的陈那大师，着《释量论》的法称大师;巨著《入菩萨行论》的作者寂天大师;七世纪时到西藏宏扬佛法的莲花生大士、寂护尊者亦出自此寺。西藏译师玛尔巴大师赴印求法，他所师事的那诺巴大师，正是那兰陀的北门护门。中国唐代高僧玄奘法师西域取经，曾在那烂陀寺讲习修学15年

如同印度其它佛教建筑的命运一样，十二世纪时，那兰陀寺遭到回教徒大肆破坏。一八六一年，英国考古学家在此发现了这一片佛教遗址后，与《大唐西域记》的记载对照，证明这里是那烂陀，目前出土的面积仅有十四公顷、十五组建筑，还不到原来的十分一。虽然那兰陀寺的光辉已随着回教徒的破坏成为历史，「琼楼岳峙」只余下颓垣败瓦，但绵延百里、错落起伏的教室、僧房、塔寺遗迹仍十分壮观。

印度考古人员现在发现的遗址，有一座九层楼高的建筑、(可能是历史书记录的藏书九百多万卷的，宝彩、宝海、宝洋、中九层楼的宝洋殿)六座大殿堂、十二座僧院、近千间僧房，其中最雄伟庄严和保留比较完整的是舍利弗尊者(舍利子)大塔，外观刻有许多佛陀弘法事蹟图。