书院在中国具有悠久的历史，它源于唐、盛于宋，衰亡于清末，历时千载。关于书院的定义，宋代学者王应麟的《玉海》曾经作过解释：“院者，垣也。”“书院”一词，指用一圈矮墙将建筑物围起来的藏书之所，相当于古代的图书馆。
袁枚《随园随笔》云：“书院之名，起于唐玄宗之时，丽正书院、集贤书院皆建于省外，为修书之地。”修书、藏书是古代书院的重要内容和特征之一；书院藏书是我国古代藏书中的一种重要类型，与官府藏书、私人藏书、寺院藏书一起，并称为中国古代藏书事业的四大支柱。
不过，按照现在的理解，多认为书院是我国古代的一种教育制度，是私人或官府所设的聚徒讲授、研究学问的场所。中国著名的四大书院，河南商丘的应天书院、湖南长沙的岳麓书院、江西庐山的白鹿洞书院、河南登封的嵩阳书院，都为当时社会的学术文化发展，人才培养，起过巨大的推进作用。
正如袁枚的说法，中国最早的官办书院始于唐朝：唐玄宗开元五年（717年），选拔饱学之士20人，于东都洛阳的乾元殿东廊编校经、史、子、集四部书书籍；次年，乾元修书院改名为“丽正书院”。此后，京师长安也设立了丽正书院；到开元十三年，唐玄宗下诏将丽正书院改称“集贤殿书院”。
作为民间讲学基地的书院则出现于五代时期。到了北宋时期，以理学家（理学是两宋时期产生的研究“天理”的哲学流派，又称道学）为代表的知识阶层为了重振儒家文化，有意识地兴办书院；但当时儒家官学衰微，且与书院性质不同（官学为了应试获取功名，书院以教育、培养人的学问和德性为主），无法为书院建设提供参照。此时，禅宗的丛林制度对书院的兴起发挥了积极影响。
首先，从功能上看，书院和禅宗的寺院性质相似，丛林是和尚聚居修行的处所、禅宗教徒潜心求道的聚集地，而书院是在理学家的精心经营下，成为传承儒家“道统”的场所，而这均是具有自发性的教育组织。
其次，书院的产生与晚唐五代时的士子读书于寺院之风具有直接关系。士子在幽静偏远之寺院静心读书，这对书院选址很有启发。
再次，许多书院都是在寺院的旧址上扩建或新建的，如宋初岳麓山寺庙林立，僧人智漩等“念唐末五季湖南偏僻，风化陵夷，习俗暴恶，思见儒者之道，乃割地建屋，以居士类”，岳麓书院便肇始于此。因此之故，书院建筑也多仿自丛林。
宋代书院的兴起始于范仲淹执掌南都府学（应天书院），特别是庆历新政（北宋仁宗庆历年间，范仲淹等人提出的限制冗官、提高效率并藉以达到节省钱财的主张。仁宗采纳了大部分意见，施行新政）之后。这时，以讲学为主的书院日渐增多，出现了著名的“四大书院”。到了南宋，兴办书院的风气更盛，随着理学的发展，书院逐渐成为各学派活动的场所。
到了元朝，书院制度更为兴盛，且专讲程朱之学（“程朱”为宋代理学家程颢、程颐兄弟和朱熹的并称），并供祀两宋理学家。明朝初年书院转衰，直到王阳明出，书院再度兴盛，一度发展到一千两百多所，有官办的、也有私立的。他们自由讲学，抨击时弊，成为思想舆论和政治活动场所。
当时，最著名的书院当属江苏无锡的东林书院，曾培养出一批不畏权势、正直刚硬的士人，被称为“东林党”。明朝的统治阶级曾先后4次毁禁书院，在严酷的政治压迫下，书院师生宁死不屈、坚守“风声雨声读书声，声声入耳；家事国事天下事，事事关心”的原则。
清代书院达2000余所，但官学化也达到了极点，大部分书院已与官学无异，如张之洞在武昌建立的两湖书院、广州越秀书院等等。到了光绪二十七年（即1901年），清廷诏令各省的书院改为大学堂，各府、厅、直隶州的书院改为中学堂，各州县的书院改为小学堂。至此，书院退出了历史舞台。
再有一点，传统的书院，除了藏书、讲学以外，还要举行的一项活动是供祭，也就是师生崇奉先师先贤的祭祀活动；藏书、供祭和讲学是构成书院的“三大事业”。
民国时，香港、台湾均有不同的学校称作“书院”，但已与传统的书院有所出入；而当代国内的所谓“书院”，则大多是国学培育、书画交流之所。