上古和封建时代“大学”一词除了指儒家经典四书之一的《大学》外,还指聚集在特定地点整理、研究和传播高深领域知识的机构.根据文献记载,大学作为一种具有高等教育职能的机构,可以追溯到五帝时期的成均和上庠；董仲舒曰：“五帝名大学曰成均,则虞痒近是也”.虞舜时成立上庠,“上庠”即“高等学校”的意思；郑玄：“上庠为大学,在王城西郊.”以后夏朝的东序,商朝的瞽宗,周朝的辟雍,是当时位于京师的最高学府.
皇朝帝国时代到了汉朝,中央设立太学,为最高学府,而地方也开始设立郡学、州学、府学、县学等供同龄学生学习的的地方官办高等学校,相当于不同阶级的公立大学,低阶大学学业出色的学生可以进至高阶大学学习.隋唐以后太学改为国子监,唐朝以后出现书院.书院可以分为大学部、小学部,有些并不严格区分,有官办,有私立,不少是私办官助.白鹭书院、白鹿洞书院、岳麓书院、应天府书院、嵩阳书院、石鼓书院、茅山书院等都是著名书院的代表.
孔子是第一个创办私学的人,大学都是官学.
