1932年1月28日夜，日寇突然向驻扎上海的国民党第19路军发起了攻击。战斗开始后，国民党军政高层当即意识到：日本在上海挑起战争，其侵略的范围并不只限于上海一隅，而是有进一步侵犯我国东南富庶地区的可能，而国民政府的首都南京更是首当其冲。
迁都洛阳，暂避锋芒
此时，虽然蒋介石已经第二次下野，但依然掌握着国民政府和国民党中央的大政方针，左右着中国局势的变化与发展，也正是在蒋介石的主导和影响下，国民政府作出了迁都河南洛阳，暂避日军锋芒的决定。
1932年1月29日下年4点，国民党中央执行委员会政治会议召开紧急会议，一方面决定成立“军事委员会”并通过其组织大纲，推选蒋介石、冯玉祥、何应饮、朱培德、李宗仁任常务委员，全面负责筹划、指挥国防的有关事宜；另一方面，决定“先迁移政府于洛阳，免受炮舰之威胁，与之（日寇）决战，并为长期抗战之策”。
林森、汪精卫离宁赴洛
安排好南京的守卫后，蒋介石认为“国府主席与行政院长，应先以居于安全之地”，于是商请林森、汪精卫等先行迁往洛阳。不过，无论是林森，或是汪精卫的妻子陈璧君，都面有难色，不愿先行。蒋介石“乃再以诚意与利害婉劝之，至午后一时，林汪始渡江而行”。
当天晚上8点，载有国民政府主席林森、行政院院长汪精卫以及国民政府直属各机关及各部委官员千余人的专列，随着汽笛一声长鸣，缓缓驶离南京北岸的浦口车站，沿津浦铁路北上洛阳，从而开创了中国历史上少有的首都自南向北迁移的特例。
正式宣布避免签订城下之盟
1932年1月30日晚，军政部部长何应钦在南京发表由林森主签，汪精卫等人副签的《国民政府移驻洛阳办公宣言》，说明“首都（南京）及长江上下游各重要市镇，有日本军舰到处挑衅”，而国民政府移驻洛阳办公就是“为完全自由行使职权，不受暴力胁迫”。
何应钦在正式发表宣言前，还致电各省党政军领袖，明确提出：“现为便于自由行使职权，不受强邻威力压迫计，决将整个政府及军事委员会迁驻洛阳，继续办公。”1月31日，国民党中央机关报《中央日报》以大字标题刊登了国民政府移驻洛阳办公的消息，向全国人民及世界各国表明中国中央政府对日本步步紧逼的态度与对策。
国民政府各部委入驻洛阳城区
到2月中旬，国民政府及所属各部门基本迁移到位，并因陋就简，在洛阳开始办公。其中，国民政府在原府尹衙门(即旧福王府)办公，国民政府主席林森的官邸被安排在西工公馆街的天字第一号院(原吴佩孚公馆)，国民党中央党部驻西工原吴佩孚巡阅使署。
此外，蒋介石及迁洛阳后成立的国民政府军事委员会驻老城河南省立第四师范学校，汪精卫和行政院驻河洛图书馆，考试院驻西关周公庙，监察院驻南关贴廓巷庄姓民房，司法院驻城内地方法院(原张敬尧公馆)，其他各机关则被安排在西工兵营。
日军撤退，国民政府还都南京
尽管国民政府已经开始在洛阳按部就班地履行职责，但日寇在上海的侵略行动却戛然而止，因其转移国际社会注意力、趁机成立伪满洲国的目的已经达到，加之第19路军和后来增援的张治中第5军顽强抗击；英美等国的调停和压力等因素，日寇于5月5日同意签订《淞沪停战协定》，撤退回战前位置。
上海日军撤退后，南京面临的战争威胁得以解除，早已不愿在洛阳“蜗居”的军政大员们迫不及待地开始陆续返回南京。11月29日，国民政府正式发布自洛阳还都南京的明令；12月1日，林森等人返回南京并在国民党中央党部举行了“中央”迁回南京典礼。
至此，国民政府、国民党中央因日本帝国主义侵略而被迫进行的第一次迁都，也到此宣告结束。