提到古代的将军，首先就会联想到戴盔披甲、跃马疆场、指挥军旅、血战沙场的军队指挥者的形象。的确，古代的武职官员中常见有将军之名，不过需要注意的是，我国古代的将军并不完全都是武将，而且也不是每个朝代都把将军设为固定的职务。
将军的称谓最早见于春秋时期。如吴国的孙武、越国的范蠡都是春秋时期的名将。战国时期，不少国家的将与相是并列的高官，比如廉颇是赵国的将，乐毅是燕国的将。不过秦统一六国后，最高的武职不叫将军，而称太尉。汉代也是太尉，但由于将军之称十分广泛，故而秦汉以后一直沿用。
汉代有各种各样的将军，而总领军事的称为大将军，如韩信、卫青、霍光等都任过大将军。大将军之下，又有领兵将军，如骠骑将军、车骑将军、卫将军和前、后、左、右将军。统领水军的将军则称为楼船将军。
在每次临时作战时，还有一些临时封赐的将军，如出征匈奴为征西将军，出征交趾为伏波将军等。汉代时，领兵将军权力很重，往往干预政务，而大将军更是大权在握，独揽朝政。
到了魏晋南北朝时期，武官制度比较混乱，称将军的越来越多，至北魏时更多，仅是“柱国大将军”就有八名，其下还有十二名“大将军”这些将军其实都不领兵，而只是作为表示荣誉的加官。
隋唐时期，战事发生时，则由皇帝委派元帅、大将领兵出征。战事结束，则“兵散于府，将归于朝”。而统领全国府兵的则是中央的十六卫，又称“南衙十六卫”。十六卫每卫都有大将军的设置，如秦琼、侯君集、程咬金等都任过十六卫大将军。
在唐初和唐代中叶，武将一般均不问政务，到中叶以后，府兵制废弛，又行募兵制，各地的节度使纷纷募兵称雄，逐步形成了晚唐的藩镇割据局面，军政合一，节度使也就成为地方上的土皇帝了。
赵匡胤建立宋朝后，鉴于唐末、五代以来地方割据势力拥兵自重的教训，实行了兵将分离的办法。军队也经常调动换防，指挥官原地不动，造成了“兵无常帅，帅无常师”“兵不识将，将五专兵”的局面。自宋初统兵大将石守信被解除兵权后，军队的指挥权集中在皇帝手里。
宋代也有一些大将军、将军，不过他们都是安置宗室及闲散武臣的名义职称，真正统兵所谓的“是三衙”，即首领殿前都指挥使司、侍卫亲军马军都指挥使司、侍卫亲军步军都指挥使司。而每逢作战时，皇帝才从大将中选派将帅，其职务为“都督诸路军马”“宣抚使”“经略使”，像杨业、岳飞、韩世忠这些名将，都未曾有过正式的将军称号。
明代的军事指挥权分为两个部分：统兵权在前后左中右五军都督府，而调兵权在兵部，二者互相牵制。各省设都指挥司，掌握本省的军队。不过，明代的总督、巡抚和都指挥司平时并不率军作战，真正在战场上作战的军队指挥官是各地军队的总兵、副总兵、参将等。
每逢战事，大多是总兵佩将军印出征，如抗倭名将戚继光是总兵，俞大猷也是总兵。这些战将在出征时有时被授予将军称号，但都是荣誉性的职衔，如明末名将左良玉，本身官衔是总兵，但被封为“平贼将军”。
清代是满洲贵族建立的政权，军队系统分为八旗和绿营。八旗部分驻守京师，保卫皇帝的亲军营，由领侍卫内大臣负责，京城的治安由步军统领负责；驻防外地的八旗兵由各地的驻防将军和都统、副都统管辖。绿营兵的最高统帅为提督，到了太平天国运动之后，各省的督抚直接领兵，这时的情况就有点类似于晚唐的地方割据。
清代正式的将军官职就是上面提到的八旗驻防将军，比如盛京将军、杭州将军等，他们都是从一品武将。此外，还有宗室封爵中有镇国将军、辅国将军、奉恩将军。当然遇有战事，皇帝也会临时加以将军称号或大将军称号。如清初多尔衮为奉命大将军、吴三桂为平西大将军，雍正年间岳钟琪征青海时为奋威将军等等。
还有一种也较为特殊，康熙年间曾给几位立有战功的绿营提督特授将军封号，如陕西提督王进宝授奋威将军、宁夏提督赵良栋授勇略将军、福建水师提督施琅授靖海将军等，这种情况在乾隆以后就很少出现了。
从以上的介绍可以得知，汉代以后的武将常有将军之称，但除了清代驻防的八旗将军是固定的官职，有规定的品级和所管辖的区域之外，其他各种将军都是不固定的，而是临时性的名号。