此时的王耀武前往天津投奔亲戚，起初在一家烟草公司当工人，后来辗转前往一家糖果公司做销售。个时候的天津租界是洋人横行天下，中国人毫无人权与基本尊严，王耀武产生了要做军人的念头。为了报考军校，他白天工作，晚上补习数理化知识。1924年冬，黄埔军校在广州招生，王耀武获知这一情况后，东拼西凑借足了路费，然后前往广州报考，于1924年11月被录取为黄埔军校第三期学员。
此时的王耀武劝告旅长：红军意图围城打援，如果突围必死，想活只能坚守下去。结果正如王耀武所言，红军猛攻半个月未果，三十二旅奇迹生还，就连蒋介石也大呼“王耀武这人有点意思”。不久，蒋介石亲自召见王耀武，提拔他担任补充第一旅旅长。在这次会面中，王耀武给蒋介石留下了很好的印象，后来王耀武担任国民党第五十一师师长。“七七事变”爆发后，他率领五十一师从汉中调往上海，参加著名的“八·一三淞沪抗战”。1937年12月初，王耀武率领五十一师参加南京保卫战。1938年5月，五十一师奉命参加河南兰封战役，7月又参加了江西之万岭会战。1938年6月，王耀武担任国民党第七十四军副军长兼五十一师师长。
被誉为国民党“王牌部队”之一的整编七十四师，前身就是这个七十四军。
很多人都觉得，王耀武身为国民党高级将领，为何在病逝之后骨灰能被安葬于八宝山烈士陵园？其实原因并不复杂，早年在功德林接受改造时，王耀武的表现就很好。甚至当王耀武被解放军活捉后，他还通过电台公开喊话蒋介石放下武器。
经过那次谈话，王耀武思想上的困惑基本得到解答，他渴望得到人民的原谅，回归社会。后来在解放军官训练团学习期间，王耀武的思想开始发生重大变化。1952年春，第二次清算美蒋主义罪行大会开始时，他主动交代自己的历史。
来到功德林后，王耀武不仅成为学习委员，甚至因为表现太好，还遭到其他同学的诬陷。由于王耀武的虚心改造且表现良好，毛主席委托时任公安部部长罗瑞卿转告他：“你功是功，过是过。你的抗日功劳，我们共产党人会永远记住。只要你安心改造，很快就会回到人民中间。”