早在夏商周三代时期，政府就设立学校，以教育贵族子弟。那个时候的学校称为“官学”或“国学”。中央举办的“官学”，简称为“学”。地方举办的“官学”，称为庠、序、校。孟子说三代“设为庠序学校以教之。庠，养也；校，教也；序，射也。夏曰校，殷曰序，周曰庠，学则三代共之”。校，以教民为义；序，以习射为义；庠，以养老为义。
三代之中，周代的教育体系最为完备。周代有专门掌管教育的官员，称大司乐。周代的学校分成两类，一类是国学，一类是乡学。国学是天子诸侯之学。天子有五学，辟雍居中，周围有水环绕，其余四学置于辟雍的南北东西四个方位，分别称为成均、上庠、东胶、西雍。古代以辟雍代指整个大学。
诸侯只有一学，称为泮宫。后人泛称学宫为泮宫，称学童入学成为生员为“入泮”。国学以培养贵族精英的德行操守和政治才干为目标，其学生包括王大子、王子、群侯之大子、卿大夫、元士之嫡子、国之俊选等贵族子弟。
乡学是官府举办的地方之学，周代的乡学分为许多级，《周礼》记载：“乡有庠，州有序，党有校，闾有塾”。乡学以国都及四郊之间的六乡之民为教育对象。乡大夫以乡三物教民，所谓“乡三物”，是指六德、六行和六艺。六德，知、仁、圣、义、忠、和；六行，孝、友、睦、姻、任、恤；六艺，礼、乐、射、御、书、数。乡学以施行教化、移风易俗为主旨，每年都举行乡饮酒礼以养老，举行乡射礼以习射。
周平王东迁后，周王室的势力日益衰落，中央的文教系统也没落了。学校不修，学官乐师分散各地，即所谓“天子失官，学在四夷”。地方官学也迅速衰落，只有少数诸侯能维持。战国时期的齐恒公田午创建稷下学宫，成为百家争鸣的重要阵地。
秦代政治严苛，“以法为教，以吏为师”，禁止民间讲学，学校教育一度空白。汉初废弃秦政，鼓励民间私学兴办。汉武帝立五经博士，设立太学。太学是汉代中央政府设立的最高学府，太学只能讲授儒家经典，博士官也只能由儒家学者担任。博士生或太学生不限出身，平民子弟中的杰出者，也可以有机会进入太学学习。
地方官学也在汉代得到了复兴，汉景帝时，蜀郡太守文翁于成都市中修学宫，招收县子弟，免除徭役，学业优良者，充当郡县吏员，次一等的，可以任乡官，使乡学一度繁荣。汉武帝设立太学，同时诏令天下郡国皆设学宫。至汉平帝时，府州县各级政府皆立官学，形成了王宫、国都以及闾巷，莫不有学的格局。
隋代将太学改为国子监，又称国子学。太学与国子学不仅有培养人才和教育的职能，还有监督现实政治的作用。历史上发生多次太学生参政议政的事件。学者们在太学里讲学、品评人物、议论朝政，形成“清议“，制约现实政治。