三大战役后，国民党军队一溃千里，尤其是蒋介石的嫡系部队，几乎损失殆尽。1949年1月，蒋介石被逼下野，代总统李宗仁提出由何应钦出任政府首脑。蒋介石开始时坚决反对，但为了与桂系抗衡，认为何应钦还有可利用价值，也就同意了。年近六旬的何应钦，终于在国民党政权垮台之前，过了一把当政府首脑的瘾。
然而，随着前线节节败退，蒋介石跟李宗仁的矛盾更加激发，并相互推卸责任。何应钦既不敢得罪蒋介石，又不愿意归咎李宗仁。作为政府首脑兼国防部长的何应钦，本来可以调动国民党全部军队，但当他试图命令宋希濂部到湖南常德、芷江一带构筑防线阻止解放军南下时，宋希濂却把部队带到了湖北恩施，并表示只听蒋介石指挥。
很快，人民解放军百万雄师渡过长江，蒋介石仍在跟李宗仁相互斗法，何应钦自然是无能为力了。1949年5月30日，何应钦内阁全体辞职。李宗仁再三挽留，何应钦说：“德公啊，你如果要我继续干下去，我只有两条路可以走，一是逃亡，二是自杀。”
何应钦辞职后，原本打算到美国去当寓公，安度晚年。他在1946年出使联合国期间，就在美国购置了别墅，为自己留了退路。事实上，在国民党政权分崩离析时，许多国民党要人纷纷逃往海外或香港。尤其是非蒋嫡系，大都知道跟蒋介石去台湾，绝对不会有好下场。
何应钦虽然自黄埔时期就跟随在蒋介石身边，但也曾两度联合桂系逼蒋下野。西安事变期间，何应钦更是坚决的主战派，他自己也明白，在非嫡系者看来，他是蒋介石的嫡系，但真嫡系者又与他有种种隔膜。尤其是被蒋介石委以重任，正担任台湾省最高军政长官的陈诚，更是与他有着数不清的恩怨。
就在何应钦准备起程出洋时，蒋介石明令何应钦必须火速赴台“甘苦共尝”，并为他准备了专机。何应钦在经历了一番思想斗争后，最终还是听从了蒋介石的召唤，携家眷飞往台湾。然而，当何应钦一家人下了飞机后，却发现无安身之所，甚至无人过问。时任台湾警备总司令的钮先铭是何应钦昔日的部属，见到老长官如此落魄，将自己居住地位于牯岭街的一座小楼让给何应钦一家。这座小楼的产权属于台湾省物资局，看上去很不起眼，但对何应钦一家却是雪中送炭。
逃窜到台湾的蒋介石集团，站稳脚跟后，一切运作都围绕蒋经国接班，蒋家王朝得以延续来进行。昔日四大家族，孔宋陈全都从政坛消失，蒋经国“太子系”人马振翅待飞。至于大陆时期那些个手握重兵，权倾一时的军政要员们，自然就得是清洗的对象了。
素有自知之明的何应钦，自然也明白不可能再重温过去权倾朝野的旧梦，他更清楚蒋介石的为人。为了避免引起猜疑，他特意在蒋介石对他下手前公开自己的态度。1950年1月，美国记者就台湾政局访问何应钦，原以为这位国民党重臣会发表有见地的观点。不料，何应钦却说：“不在其位不谋其政……”
后来的事实证明，何应钦的“识时务”让他少了很多麻烦。相比之下，阎锡山、白崇禧、薛岳等曾经反对过老蒋的，甚至是胡宗南、汤恩伯这些过去绝对的嫡系将领，他们的遭遇大都不尽如人意。
除了“识相”外，何应钦无论在什么事情上，都毫无保留地支持蒋介石。老蒋要复职，但只要远在美国的“代总统”李宗仁不松口放弃，他就永远无法取得“法理”上的正统。何应钦虽然先后两次跟李宗仁共事，对这位“广西王”也颇有好感，但为了打消蒋介石的猜忌，他在弹劾李宗仁时积极发言，慷慨陈词，请老蒋复职。
作为对何应钦支持复职的回报，蒋介石把“总统府战略顾问委员会主任”的职务送给了他。这个机构名义上是蒋介石的最高军事咨询机构，实际上是安置被罢黜资深军政首脑的一座冷庙。在这样一个机构中，即便是主任，也是虚有其表了。
尽管是虚职，但何应钦还是高高兴兴地走马上任了，没有遭到清算，还能有一个“公职”，对他来说已经非常满足了。此后，何应钦利用一切可能的机会表现自己，以求博得蒋介石的青睐。凡是有公开讲话的地方，何应钦都会高喊“服从领袖”。
曾经在一个讲习班上，何应钦发表了一篇《总统行谊》的讲话，他说：“我以为领袖好比太阳，我们每一个人都能亲承太阳的温暖，但我们却不能了解太阳的热力从何而来；领袖好比是泰山，我们知道泰山的巍峨峻峭，但却不知道泰山如何崇高……”
蒋介石66岁生日时，何应钦发文吹捧蒋介石的远见远非世界上一般政治家所能及。蒋介石67岁生日时，何应钦又发文把国民革命军东征、北伐以及抗战的功劳都归在蒋介石身上，一次吹捧蒋介石“不仅是一位军事天才，而且具有政治远见”。除了蒋介石每年的生日，其他所有值得纪念的日子，诸如元旦、双十、3月13日棉湖战役纪念日、6月16日黄埔军校建校纪念日等，以及所有与蒋介石有关的日子，何应钦都会发表文章、演讲、致辞、组织活动歌功颂德。
这样的表现，当然无法让何应钦重新得到重用。1950年8月，蒋介石发起成立了“国民党改造委员会”，专门用来清理门户，将过去派系林立的国民党彻底变为“蒋家党”。委员会成员清一色都是蒋介石着意扶持重用的对象，其中陈诚当仁不让。而何应钦、顾祝同、阎锡山、张群、白崇禧等人毫无意外都成为了被改造的对象。
这一改造就是两年时间，改造结束后，蒋家父子的权力已经牢牢巩固，蒋经国崛起的障碍全部扫除。为了抚慰那些大陆时期的重臣，蒋介石特设“中央评议委员会”，并亲自提名48人为中央评议委员会委员，何应钦便是其中之一。对于这样的安置，何应钦也是无法可说，但新的权力核心中，陈诚处于极为重要的位置，多少还是会让他心里有些不舒服。
何应钦跟陈诚的恩怨从北伐时期就已经开始了。何应钦原本在黄埔系中地位仅次于蒋介石，但他多次在重要关头倒戈相向，让老蒋咬牙切齿。而陈诚，就是蒋介石特地培养起来取代何应钦的人。1944年，当陈诚羽翼渐丰时，蒋介石便迫不及待地要求何应钦让位，让他把军政部长的位置让出来。
原本，何应钦没有答应，但蒋介石接连提了两次，他明白老蒋是来真的，就坚持要让自己系统的顾祝同接任，并对部下说：“陈诚算什么东西，我当师长时，他才当连长！”但陈诚很快就接任了军政部长。当时已经让何应钦很是气愤。到了台湾后，陈诚更是如日冲天，而何应钦却连说话的位置都没有了。
好在何应钦最大的长处之一，便是得势时少有骄矜，失势时能泰然处之。被逐出权力核心，对何应钦并未造成太大的困扰。唯一能扰乱他心绪的，是总有一些写回忆录或传记的人，有意无意提起他曾参与桂系“逼宫”的经过，并说他在西安事变中主战的目的是想取蒋而代之。他生怕哪天，睚眦必报的老蒋和年轻气盛的小蒋心血来潮，就拿他当了替罪羊。
何应钦能做的，就是尽量表现得与世无争。年过花甲的他开始热衷于文体活动，每天沉迷于打猎、打桥牌、打高尔夫以及跳舞，大家都称之为“三打一跳”。何应钦年轻时就喜欢打猎，到了台湾后，他更是跟白崇禧、杨森一起，成为了三支鼎足而立的猎枪队，“威名”远扬。
在被蒋介石闲置的时间里，何应钦只有在台北集会庆典时，被通知率领所有的一级、二级上将衔的顾问们，穿着金星闪闪的军装，随班进退，作为庆典会场的一种摆设而已。其他在公共场合出现的机会，寥寥无几。
他的业余职务要比他的“公职”繁忙得多，如“世界道德重整会中国分会会长”、“中日文经协会理事会”“中国红十字会会长”等等。他干得最起劲的，莫过于当“治丧委员会主任”了。凡属“党国大员”死人的丧事，丧者家属总找何应钦当治丧委员会主任，已经成为台湾流行的种“生死哀荣”的象征。流风所及，民间的一些大户人家，也千方百计找关系，请何应钦挂名为治丧委员会主任。有人开玩笑说：“敬公(何应钦字敬之)，如果你开一家葬仪公司，出租名字当治丧委员会主任，保证生意滚滚上门，做也做不完。
何应钦在台湾，足迹出现最多的地方是殡仪馆。凡有大丧事的场面，总可以看到他。有时像歌星赶场样，祭罢第一馆，赶往第二馆，祭罢第一厅，赶往第二厅，忙得不亦乐乎！
虽然远离权力纷争，但何应钦也经常会不甘寂寞。当蒋介石想要让已被扫进历史垃圾堆的伪“中华民国”寻求对外关系时，何应钦适时站了出来。他凭借着自己多年来被公认的国民党中亲日派代表的身份，积极奔走于日本。
在抗日战争胜利后，何应钦被蒋介石指定为受降代表。他在主持受降大典中“以德报怨”，给予侵华日军一系列的礼遇，尤其是他在接过军刀那一刻，腰弯得比对面的日本侵略者还要低，成为国人口诛笔伐的对象。然而，何应钦的这一举动，却让他在日本右翼势力和侵华势力残余分子中，享有无可比拟的“威望”。
当然，这件事也不能完全由何应钦背锅。他之所以能够这么干，也完全是“秉承上意”罢了。在日本投降前，何应钦原本很快就要被陈诚完全取代，蒋介石之所以给予他主持受降大典的殊荣，其用意不言自明。
事实证明，蒋介石也选对了人。何应钦不仅没有对冈村宁次加以监视和拘禁，反而视若上宾。在何应钦的庇护下，冈村宁次这样一个双手沾满国人鲜血的大战犯，不仅逃脱了远东军事法庭的审讯，而且被南京政府最高军事法庭宣判“无罪”。不久后，冈村宁次还成为了蒋介石的座上宾。国民党败逃到台湾前，何应钦又设法将冈村宁次偷偷送回了日本。
1951年元旦过后，何应钦就开始了访日之旅。1月16日，何应钦去拜会了他的老朋友冈村宁次。冈村设宴招待，在宴会上盛赞何应钦是“对日本了解最深的人”，“多年的亲日态度，早为日本国民所知”，尤其对蒋介石、何应钦在日本战败后的“以德报怨”感激涕零。说到激动处，冈村宁次竟然失声痛哭，何应钦也热泪盈眶，唏嘘不已。
1956年，何应钦再次去日本看冈村宁次，并在媒体上公开了一段谈话，其中最让人气愤的莫过于下面这段：
冈村：（重庆大轰炸时）府上受过轰炸么？
何：我住的地方炸中了两三次。
冈村：不是有防空洞么？
何：但若中了一千磅重的炸弹，就是避在防空洞，人也会晃动，这种情形前后有过三次。
冈村：真抱歉，如果您先在公馆屋顶上做一个记号，我可以叫他们不来炸呢。（笑）
对中国人来说这样惨痛的苦难，作为中国人的何应钦竟然可以跟当初的刽子手如此心平气和地谈及，甚至还能当作玩笑话说出口。
上世纪70年年代末到80年代初，何应钦的妻子王文湘、两个弟弟何辑五、何纵炎相继去世。原本就思乡切切的何应钦只剩顾影自怜，悲从中来，愈发孤独。何应钦跟妻子结婚多年，却始终未曾生育，弟弟何辑五将自己的女儿何丽珠过继给他们，以排解他们膝下无子的孤独。好在何丽珠很是孝顺，给了何应钦无微不至的照顾，一定程度上也算排解了一些忧愁。
越到晚年，何应钦思乡怀旧的情感就越浓烈，叶落归根的期盼日益浓烈。每当贵州同乡来访，谈起家乡的风土人情、历史故旧，他总是兴致勃勃，滔滔不绝。祖国大陆实行改革开放以来，只要有人去贵州，何应钦总是要托人打听一下故乡的情况，何氏故居、祖坟的情况，以及大陆亲人的情况。然而，当家乡政府托人邀请他“回故乡走一走，看一看”时，步入人生暮年的他，却始终没有勇气踏出那一步。
从1986年开始，何应钦的身体便急转直下。1987年10月20日上午，何应钦的血压突然下降，医生全力抢救仍未奏效。到21日上午7时30分，何应钦终因心肺衰竭而停止了呼吸，终年97岁。