第三装甲师和第一、第二装甲师一样，也属于第三帝国最早建立的第一批装甲师成员，它的成立时间是1935年10月15日。第三装甲师的总部同样位于德国首都柏林，它从建立到灭亡共经历了十二位指挥官，其中第一位指挥官是陆军中将费斯曼。1939年3月，第三装甲师参与了德国攻占捷克苏台德地区的行动，随后又开抵到布拉格占领了捷克全境。
白色行动开始后，第三装甲师被编派到了古德里安将军的第十九军麾下，作为先锋部队横扫波兰北部，并最终与第二十二军会合对波兰陆军进行了合围，直至9月底波兰宣布投降。此时第三装甲师的编制下辖第五装甲团和第六装甲团以及一个装甲训练大队，两个装甲团的主力坦克是一号坦克和二号坦克，较为先进的三号坦克和四号坦克数量较少，仅占到总数的百分之七。而装甲训练大队的三号坦克最多，能达到惊人的37辆。
值得注意的是，新的装甲师成立之后都会有一个轻型装甲连的制式编制，其中一个排装备的是5辆二号坦克，其余三个排装备的是5辆三号坦克。然而，早期的三号坦克性能并不佳，由于产能跟不上的缘故，早期三号坦克的装甲厚度和悬挂系统都达不到应有的要求。为此，德国国防部决定缩减三号坦克的数量为3辆，这样每个装甲师的三号坦克就控制在了6到12辆。
在1940年开始的西欧战役中，第三装甲师作为B集团军群的成员出战，但并没有参与阿登奇袭行动。此时第三装甲师的实力得到了增强，两个装甲团的坦克总数达到了266辆，其中二号坦克数量最多，占到了总数的43%，三号坦克和四号坦克的数量也上升到了总体的三分之一。第三装甲师在1940年的战绩非常耀眼，总共摧毁了87辆敌军坦克，主战场在法国，其中包括与法军的第三机械化师进行的一场大型坦克会战。
巴巴罗萨计划行动开始后，第三装甲师的编制发生了变化，其中第五装甲团被调入了第五轻装甲师中，该师随后成为了非洲军团的成员。而第三装甲师则被编入了古德里安的第二装甲集群开始参与入侵苏联的行动，第三装甲师参与了大大小小战斗无数，仅仅用了两个月的时间，第三装甲师的200辆坦克就消耗为了50辆，其中多数为二号坦克。开战前第六装甲团装备的坦克中，三号坦克总数达到了110辆，占到总数的55%，但在开战后就遭到了严重的损失。
1942年，德军的重点攻击方向由莫斯科转移到了苏联南部，第三装甲师也随即调到了哈尔科夫的第六集团军中，该师在参与了曼施坦因元帅指挥的一场胜仗后，就又被调入了克莱斯特将军麾下的A集团军群中。1942年冬季，由于第六集团军在斯大林格勒一役中惨败，位于高加索地区的A集团军群就必须后撤。第二年年初，第三装甲师再次发生归属变化，它的顶头上司又成为了位于罗斯托夫的顿河集团军群。此时三号和四号坦克已经成为第三装甲师的主力，数量分别为106辆和33辆。
1943年的夏季攻势到来前，隶属于第六装甲团的第三装甲大队被撤编，第一装甲大队也改装为了五号豹式坦克大队。结果德军在库尔斯克一战中失利，第三装甲师也不得不跟随德军其余部队开始后撤。当年12月，第三装甲师又遭到了苏军的突然袭击，损失惨重，最后还是在王牌部队“大德意志师”的支援下来勉强突围成功。
1944年至1945年间，第三装甲师的实力已经大不如从前，坦克总数也减少了可怜的89辆，其中二号坦克7辆，三号坦克59辆，四号坦克23辆。实际上到了1944年，德军的四号坦克就没有多大威力了，虽然配备长炮管的KwK40 L/48战车炮的四号坦克还能在1200米的距离上击穿T-34的装甲，但它已经不能和后期的T-34/85和JS-22坦克匹敌。此时的第三装甲师一路东撤，最后途经乌曼和布格河抵达波兰。德军的中央集团军群被灭后，第三装甲师又移师到了匈牙利，直到1945年4月向美军投降。