第二装甲师是二战德军从大战第一批投入的装甲单位，并一直跟随第三帝国奋战到了最后一刻，它的足迹遍布东西两线和巴尔干半岛，是一支最能反映德军二战战史的部队之一。第二装甲师成立于1935年10月，它的第一任指挥官便是大名鼎鼎的“闪电战”创始人古德里安，虽然古德里安当时还是上校级别，但这并不影响第二装甲师的地位和发展。该部队最开始常被用于军事演习和训练，其目的就是为之后的军事行动演练技战术并做好充足的准备。
第二装甲师编制内有两个装甲团，番号分别是第三装甲团和第四装甲团，其余还包括下辖两个射击兵营的第二射击兵旅、下设两个大队的第七四炮兵团、第五侦察连以及其他单位。在1938年兼并奥地利的行动中，第二装甲师和“阿道夫·希特勒”警卫旗队在古德里安的率领下率先开拔，其中第二装甲师在最开始的两天时间内前进了700公里，为此次行动立下汗马功劳。不过，第二装甲师也在此次长距离的行军中暴露出不少问题，因为大约有三分之一的坦克在中途出现故障而抛锚，这也为后续坦克的发展提供了宝贵经验。
白色行动开始后，第二装甲师被编派到南方集团军群下的第十八军麾下，由李斯特将军统一指挥。第二装甲师先后突破了波兰克拉科夫集团和预备部队的防卫，最后和古德里安的装甲部队胜利会师。第二装甲师在波兰战役中远比其他单位损失严重，所以他们在次年的一月份便移驻到艾菲尔地区进行整编修整。休整了大概三个月后，法国战役爆发，第二装甲师所在的第十九军又奔赴法国战场，他们作为先锋部队从色当突破了默兹河，第二装甲师所属的一个大队第一个打到了海边，后又迅速南下席卷整个法国，并于6月17日抵达了瑞士边界。
德国击败法国后，第二装甲师就被调到了波兰执行占领区勤务任务。在这段时间里，第二装甲师所属的第四装甲团被解编，成为新成立的第十三装甲师的种子部队。1941年4月，由于意大利军队在希腊的失利和南斯拉夫的政变，希特勒决定出兵巴尔干，第二装甲师又被编派到李斯特指挥的第十二集团军下。在希腊之战的关键之役梅塔克萨斯一战中，第二装甲师表现优异，成功攻下了雅典，之后第二装甲师便整装返回德国本土。但在返回途中，第二装甲师遭遇了盟军的猛烈轰炸，不少重型武器被毁，也正是因为这个原因，第二装甲师没有参加巴巴罗萨的早期行动。
1941年10月，第二装甲师终于抵达东线战场，并在中央集团军群下的第四十军中参加了进攻莫斯科的战斗。当第二装甲师抵达莫斯科外围时，正好遇到极寒天气，在苏军的大规模反击下，第二装甲师以及其他单位德军被击退了。在1942年的一整年时间内，第二装甲师先后受第三和第九装甲集团军的节制，一直在战线中段与苏军鏖战。当年八月，第三装甲团的第一装甲大队被调到了第三三装甲团，这时第二装甲师就只剩一个装甲大队了。
库尔斯克战役打响前，第二装甲师已经全部配备了四号坦克，不少炮兵单位也都用上了拖曳式火炮，其中10.5厘米的黄蜂式自走炮和15厘米的野蜂式自走炮最为著名。1943年7月，第二装甲师成为了莫德尔第九集团军的一员，作为钳形攻势的北边进攻力量被投入战斗。由于德军错失良机，苏军的防卫力量越来越强，导致第九集团军只前进了19公里，最后在苏军的反击下被击退。德军在库尔斯克会战中惨败，这一役损失了五万名军人和至少1000辆坦克。之后第二装甲师又在基辅和第聂伯河地区进行了一系列惨烈的防御战，并于年底作为第二集团军的预备部队参与了戈梅利地区的作战。
1944年初，第二装甲师撤出了苏联战场，开始前往法国进行重整。在这里，第三装甲团重建了第一装甲大队，并开始装备最先进的五号豹式坦克。盟军诺曼底登陆时，第二装甲师被编派到西线装甲集群中奉命前往应战，在第四七装甲军麾下与盟军展开了激烈的战斗。之后，该师又参与了德军发起的莫尔坦攻击战，但此次军事行动并没有达到分割美军的目的。在美军成功攻占桥头堡后，第二装甲师陷入了法莱斯包围圈中几乎全军覆没，幸存的德军从缺口逃出，但人员和装备的损失非常巨大。
此战过后，第二装甲师不得不进行全面的人员补充和装备配备，该师收编了同样损失严重的第三五二步兵师成员，并与1944年底被编派到了第五装甲集团军中。在随后进行的阿登反击战中，第二装甲师再次表现出了强大的战斗力，成为德军中深入盟军防线最深的单位。不过这次大规模的反击作战最终以失败而告终，第二装甲师再次蒙受了惨痛的损失。1945年3月，第二装甲师解散，分别并入了由摩泽尔和福尔达当地残兵组建起来的装甲旅中，这支也并没能存在多久，两个月后在普劳恩向美军投降，至此，第二装甲师的历史宣告结束。