原始社会是“兵民合一”的。平安无事，大家各自生活，一旦开战，青壮劳力齐上阵。当时的战斗规模也小，用后来的标准来衡量，也就是小摩擦、小冲突甚至是"群殴"事件。各派政治势力都没有常备军，更谈不上固定的军事机构，也没有专职的军官。部落首领在战场上，就是天然的指挥官。看一些发展不太成熟的民族，军事体制大体如此。
随着社会的发展，仗越打越大，持续时间越来越长，原始的军事体制就不灵了。军队组织朝着专业化，军事制度朝着规范化发展。夏朝、商朝利用政权组织动员军队，开始出现了成千上万人参战的场面。当时的军队分车兵和徒卒，以车兵为主，主要装备是畜力驾挽的战车。战车的单位是"乘"，一乘有一个驾车的人，在实践中占据指挥官的角色；此外还有左右两个战士，一个射箭，负责远射，一个持长矛，负责近战，三个人都是站着的。这就是标准的一乘战车。战车实际上是移动的射箭平台。先秦时代的贵族子弟，都要受所谓的"六艺"训练，即礼、乐、射、御、书、数。其中的射（射箭）和御（驾车）就是为驾驭战车作战准备的。
战车对徒步的士兵拥有绝对的优势，在先秦的战场上起到了核心作用。能够动员的战车的多少，是一国国力的象征。商汤灭夏的主力是“良车七十乘”，周朝灭商的牧野之战中，周朝的主力军是“戎车三百乘”。齐桓公九合诸侯，号令天下，在于齐国能一次性出动战车八百乘作为武力后盾。晋楚争霸的城濮之战，晋文公出动了战车七百乘，最后取得了胜利。当时的人常用“千乘之国”来炫耀武力。
先秦的战争，往往是“一个战场”、“一次交锋”、“一天之内”决出胜负。贵族们堂而皇之地列队布阵，双方都倾尽全力，用主力对主力、从正面发动攻击，决出胜负。当时的宋襄公，就因为坚持不进攻渡河的楚军、不进攻没有布好阵形的楚军，才转胜为败的。很多人嘲笑宋襄公，殊不知，春秋时代的贵族都是这样的，贵族有贵族的矜持，宋襄公是典型的贵族。贵族战争，光明正大、直截了当，太适合战车发挥了。到了春秋后期，战争才变得复杂，有谋略、有战术，战场绵延数十里甚至上百里，时间持续好几天甚至好几个月。
当时的军队都是临时征召而成，分为左中右三军。“三军”就是这么来的，现在用来指海陆空三种形式的军队，而本意是指临战划为三部的军队。君王居于中军，直接指挥中军，并且统帅三军。至于军队的建制，商周的军队以“师”为最高建制，有“周六师”“殷八师”等名称。《周礼》说的周朝军队建制是"师一旅—卒—两—伍"∶"二千五百人为师，师帅皆中大夫。五百人为旅，旅帅为下大夫。百人为卒，卒长皆上士。二十五人为两，两司马皆中士。五人为伍，伍皆有长。"可见，当时的军队规模不大，也没有职业军官，大夫、士等贵族在战时充任军官。
战国时代，战争频繁，各国必须维持稳定的军队，不能再临时征召了，以出现了常备兵制度。比如晋文公设置了上中下三军，分别任命将领，其中中军将领又称“元帅”。这可能是史载的常备军设置之始。常备的军队产生了与军队有关的人员管理、日常事务、后勤保障等事务，军队行政出现，军政长官随之产生。战国时期，楚国的司马、秦国和赵国的国尉，都是负责常备军行政的专门官员。需要注意的是，司马、国尉都是军政长官，调兵遣将的权力牢牢掌握在君王手中。战国时期，军队调动以君主行文命令为准，并必须有调兵的凭信，也就是兵符。兵符，形状像一头伏虎，一分为二，以榫相合，一半放在君主那里，一半颁发给将领。凡是调动军队五十人以上，必须有君主的书面命令，并且要有虎符为凭。魏国信陵君救赵，就首先偷得魏王宫中的半个虎符，然后假造文书，才取得将军晋鄙率领的八万军队的指挥权。就这样，军事权力在常备军出现之时，就划分为了军政（军队的日常行政）、军令（调兵遣将）、指挥（行军打仗）三项权力。君王握紧军令权不放，也就抓牢了军事的核心权力。
频繁的战争和巨大的军事重压，推动了军事领域的改革。战国时代的另一大变革体现在军事技术方面。赵武灵王改革的重要内容"胡服骑射"，把游牧民族匈奴的骑射技术引进了汉族地区。赵国把骑兵建设成军队的主力，大大增强了战斗力，一度西击秦国、南下中原，气势咄咄逼人。骑兵不仅对步兵拥有绝对优势，而且机动性完胜战车。其他国家纷纷效仿。之后，骑兵作战统治中国古代战场上千年。从车战到骑兵的转变，是战争形式的巨大变革，有里程碑式的意义。
"国之大事在戎，戎之大用在马。"车战时代，人们重视御射和造车，骑兵时代人们重视马政。从秦汉到明清，马都是朝廷的一大政务。凡是在军事上有所作为的时期，都是马政制度严密、执行有效的时期，比如汉武帝时期、唐代前期、北宋前期。官府有专门的养马机构，鼓励民间畜马。
秦朝统一六国后，设太尉统管军政，派遣将军行军打仗。秦军分驻首都咸阳和全国各地，中央驻军由皇帝直辖，地方驻军由地方太守、县令及其属官都尉、县尉指挥。中央驻军也称禁军，主要由皇帝的警卫部队和首都的卫戍部队组成。禁军集中而精干，装备优良，明显优于地方驻军，目的是防止地方势力威胁到中央。秦朝确立的"内重外轻""居重驭轻"的军事体制，为之后的王朝所继承。历朝历代都把精干武力直辖朝廷，也就是皇帝，甚至把京畿周边和关隘要地的驻军也划归禁军系统。比如北宋的"强干弱枝"，几乎把稍微像样的官兵都划归禁军，禁军庞杂，数以十万计。而地方驻军，粗劣不堪，甚至是荒年招募流民的权宜结果，完全不加以训练。宋朝把这项政治传统"发扬光大"，虽然没有产生擅权的武将，但牺牲了军事系统的效率，牺牲了国家的军事实力。这是宋朝孱弱的一个重要原因。可见，任何制度的设置都有一个"度"，实施过度好制度也会变成坏制度，其中的"权衡"很重要。
抓牢军令权、把主力集中在直辖禁军中，是帝王控制军权的两大法宝。后世皇帝都奉为至宝。
禁军起源于君主的亲兵集团。早在夏朝，君王就依靠近亲或者奴隶，组建了亲兵集团。启当初破坏禅让制度，建立夏朝，身边的亲兵集团就出力不少。当时，亲兵有侍卫君王和四出征伐的功能。商朝时有相对固定的亲兵队伍，甚至有亲兵给商王殉葬。西周的禁军队伍不断扩大，扩充至三四千人，称为"成员"或"亚旅"。春秋战国时期，楚国的郎尹、柱国，秦国的中尉等，都是禁军的专门军官。
秦军的另一项重要制度是征兵制。全国统一后，征兵制推广到各地。服兵役成了老百姓的一项义务，是徭役的主要内容。秦朝二十三到六十岁的男子都能征召入伍，一生要当两次兵，一次卫戍首都，叫作"正卒"，期限为一年；一次戍边，叫作"戍卒"，守卫边疆，期限也是一年。在大泽乡起义的陈胜、吴广等人，就是戍卒。此外，秦朝百姓还要在郡县服兵役一个月，称为"吏卒"。秦朝因为徭役频繁造成兵源匮乏，征兵不足就募兵补充，甚至征发刑徒为兵。汉朝继承了秦国的征兵制，但百姓的服役期限大为减轻，可以在当地服役，称为"郡国兵"。郡国兵就是地方军队，有可能轮番抽调到中央宿卫朝廷，就成了中央军，也有可能被抽调去守卫边疆，就成了边防军。
当然，详细的军事制度没有几十万字是写不完的。中国古代的军事制度，从原始部落开始发展，到春秋战国趋于完善，在秦国定下基础。后世历朝历代也都是根据此基础做出不同的改变。