同治元年（1862年）四月八日，对于李鸿章来说是一个人生的转折点，因为那天他率领着13营衣衫褴褛的淮军抵达上海，从此他开始了独立掌军并开始控制上海这个膏腴之地，为他日后的发展埋下了伏笔。
不过，李鸿章入沪时就感觉到了不同寻常的气氛，首先是当地的官员并不重视这些淮军新秀，而且以李鸿章的敏锐，马上就能嗅出江苏巡抚薛焕想把他的淮军置于他的节制之下；其次是外国各领事对李鸿章也不看好，认为这样一支乌合之众，是无法抵挡太平军并保卫上海的。
因此，李鸿章刚到上海，面临着诸多的困难。权衡再三之下，他决定先静观其变，充分了解上海的具体情况后再做下一步的打算。其实在临行前，老师曾国藩也嘱咐他“要以练兵学战为性命根本，吏治洋务要放在后面去讲求”。
可是，李鸿章到了上海后发现，他所面临的的不仅是“军事学战”的问题，同样在吏治和洋务上都面临了严峻的挑战。要实现保住上海、夺取苏常、将太平军赶除殆尽的最终目标，必须把军事、吏治、筹饷和洋务问题都解决好。
当然，最关键的还是军事上的，理论上说，江苏巡抚薛焕是他的顶头上司，可是李鸿章背地里却对他充满了敌意，而且话里话外都透露着不让薛焕节制淮军的意思。当然了，薛焕对李鸿章也采取了措施，他和知府李庆深商量对策，他们想乘淮军立足未稳，抢先克复几座城市给李鸿章看看，以打击他的气焰，然后让淮军服服帖帖地受其指挥。
薛焕这回是高看自己了，他所组织的几万人马在太仓与太平军正面交锋，尽管薛焕决心很大、气焰很高，但始终掩盖不住部队的无能与腐败，两天下来，几乎全军覆没，而且还被太平军追着打，一路追到了上海附近，薛焕没有办法，厚着脸皮向李鸿章的淮军求救。
李鸿章认为时机已经成熟，是时候该出手了，正当他整军出发之时，接到了朝廷的任命，他成了新的江苏巡抚。这个任命无疑让李鸿章信心大增，而此时李秀成率领的十万大军开始对上海进行围攻，形势危急，迫在眉睫。
淮军与太平军首战在虹桥，此战关系到李鸿章的声威和淮军的军威。当时他带来的是树字营、春字营等，均是嫡系。为了置之死地而后生，李鸿章亲自上阵，他搬了一把椅子坐在了虹桥桥头，坐镇督战。太平军攻势很猛，还用上了火炮。
淮军第一队张遇春所部上去不多久就顶不住了，渐渐退了下来，刚撤到桥边，被李鸿章迎头撞见。李鸿章一把抓住带队的张遇春并对士兵下令道：“拿刀来把他的头砍了。”张遇春只好又带人往上冲。
张遇春是李鸿章的旧人，更是十分信任的属下，但在大敌当前，事关淮军荣誉的此战中，李鸿章六亲不认。全体淮军将士在李鸿章的有力指挥下，取得了首战胜利。
同年的八月和十月，淮军又打了两场恶战，程学启和刘铭传部，在北新泾攻打太平军的谭绍光部；在四江口，刘铭传率领洋枪队首次亮相，打得很是过瘾，大获全胜。经过这几战，李鸿章守住了上海，也赢得了士绅和洋人的尊重，算是在上海站稳了脚跟。
上海，是贯穿李鸿章一生的发家之地，此后不管李鸿章是任湖广总督还是直隶总督，这个大本营都在他的控制之下，上海的官办企业几乎都是李鸿章的“私产”，淮军以及后来北洋军的大部分军饷都是来自上海以及江南，正是有了这块宝地，李鸿章才能在与各方角逐中立于不败之地。