1930年的中原大战中，蒋介石面对北方军阀在陇海路铁路一线与对方展开激烈交战，而自己麾下的嫡系部队第一师在这一次作战中付出了重大伤亡，第一师师长徐庭瑶更是身负重伤。徐庭瑶身负重伤，无法再进行指挥工作，于是蒋介石便特令第一师麾下的第一旅旅长胡宗南火线成为第一师的代理师长。从此之后这位黄埔出生的小个子将军开始了自己几十年的风光历程。
1928年蒋介石重新上台之后着手对自己曾经的嫡系第一军进行了大张旗鼓的改革，大量黄埔出身的学生们补充到了这支部队中。蒋介石之所以对这支部队这么重视，不仅仅是因为这事自己的原始发家部队。更重要的是在1927年面对李宗仁和白崇禧新桂系的联合发难，掌握自己嫡系部队的何应钦居然一言不发保持默许的态度，这种境况让蒋介石大受刺激，他也从此暗暗发誓决定要把部队掌握在自己手中，毕竟看人脸色实在是太被动了，他老蒋再也不想面临这样的困境。
于是1928年蒋介石在重新上台之后着手开始对第一军进行整顿。蒋介石让原来的第一军军长何应钦成为了北伐军的参谋长，在第一军内开始大肆进行整顿。在这个时候，蒋介石当初的黄埔嫡系们也开始纷纷崭露头角，在第一军中担任重要职务。胡宗南就是这样的重要代表，他在第一军第一师中逐渐成为中流砥柱。
蒋介石结束对第一军的清洗之后，开始了轰轰烈烈的第二次北伐战争。第二次北伐战争获得阶段性胜利之后还没过几天安定日子，中国又开始陷入到中原大战之中。
在中原大战中，第一师作为蒋介石的绝对嫡系部队和北方军阀展开了激烈的作战，第一军第一师师长徐庭瑶身负重伤，已经无法再继续指挥战斗。正所谓君不可一日无主帅，面对第一师指挥官的空缺，蒋介石当机立断让自己的心腹学生胡宗南从第一旅长火线成为第一师代理师长。
胡宗南后来之所以能够成为蒋介石身边最受宠幸的军事重臣，就在于他能够准确的把握住蒋介石的心思。胡宗南在成为第一师的代理师长之后虽然并没有那么名正言顺，但还是放开手来对第一师进行了大规模的整顿，重要岗位纷纷换成自己和蒋介石信任的嫡系人员。尽管第一师中很多人对胡宗南一上来就搞这么大的动作表示不满，但是奈何人家是蒋介石的心腹嫡系，背后有老蒋做靠山，他人心中有意见也说不出什么话来。
从此之后徐庭瑶便和第一师彻底无缘，但是蒋介石也知道此举对于徐庭瑶来说有些不大厚道，于是后来也让他成为了第17军的军长。徐庭瑶带领第17军在1933年的长城抗战中做出了重要贡献，麾下几大战将关麟征、杜聿明等人纷纷崭露头角。
然而好景不长，徐庭瑶虽然在长城抗战中做出了不小的贡献，但是由于他在1936年西安事变之际被何应钦任命成为前敌总指挥，带领部队对张学良和杨虎城部进行攻击而又一次站错了队。此时何应钦存了心思利用部队进攻激怒张学良和杨虎城部从而使其对蒋介石进行迫害。
但是何应钦没想到西安事变最终快速得到了解决，蒋介石再一次回归南京。老蒋回来之后对于徐庭瑶作为进攻张学良和杨虎城部前敌总指挥这一事始终不满，从而也一直对其没有彻底信任。后来在抗日战争期间老蒋撤掉了徐庭瑶集团军总指挥的职务不能说这里面没有相应的考量。
但是对于徐庭瑶来说，他最大的贡献就是组织建立了国民党军队最早的机械化部队，他一手缔造的第五军成为了国民党军队中最早的摩托化部队，也成为后来远征作战中少有的能拿得出手的部队。即使老蒋没有重用徐庭瑶，他也对徐庭瑶的贡献表示认可，在去到了台湾以后也过了几年颇为舒服的日子。