隋末义宁元年五月，李渊在太原起义。七月，为了占领关中，李渊率兵三万往西进攻，到了贾胡堡的时候遇上连日的阴雨，又听说突厥与刘武周将乘虚偷袭太原。李渊一度想退兵，但李世民极力主张继续进军咸阳即长安。八月，斩宋老生，占领霍邑。李渊在攻克霍邑后，乘胜攻取临汾、绛郡，进军龙门山西河津，以一部继续攻河东，以主力渡过黄河向西进入关中。
蒲津等两城投降后，华阴令李孝常以永丰投降，京兆诸县长安以东也都投降。李渊率军渡过黄河后，先进至朝邑，并派遣李建成、刘文静率军数百驻屯永丰仓，控制撞关，派李世民率军数万向渭北进军。原来在关中地区的李渊的亲族如其女李氏等也起兵响应，并与长安附近小部农民起义军会合攻占蓝田、周至等地，为李渊西进提供了有利条件。
李世民军一路诱降各地小部起义军，到泾阳时，己拥兵数万。李渊令刘弘基、殷开山西略扶风、南渡渭水，驻屯于长安故城。李世民留兵一部守泾阳以防陇右，自己过渭水与李氏会合，然后，亦驻在长安故城。此时，李建成也率精兵自新丰到长乐宫。十一月，李渊集中二十万兵围长安，未经激烈战斗，就攻占长安城。
李渊进攻长安，则是采取迁回包围的策略，使长安城与外隔绝，无由固守。在李渊进兵以前，他的从弟李神通、女儿平阳公主、女婿段纶等就已分别起兵，这实际已对长安城作好包围的准备。李渊由太原西进渡过黄河，驻军朝邑，分兵两路，李建成一路东攻潼关，以防东面隋军西救长安，潼关攻下后再行西进。
李世民一路由渭北平原西进，直迫长安。李世民和平阳公主等取得联系，驻军汉长安故城。这时隋长安城中的守军就已无能为力。李渊、李建成相继西进后，对长安完成包围形势，隋军只好开门投降。
隋末农民起义中，在关中及其周围势力较强的有：太原的李渊、洛阳的王世充、朔方的梁师都、金城的薛举父子。隋义宁元年金城府校尉薛举以兵劫持官吏起事，自称西秦霸王，招集群盗，掠官牧马，袭击驻袍隋军、分兵略地，取西平、浇河二郡，尽有陇西之地，众至十三万。朔方鹰扬郎将梁师都，杀郡丞唐世宗，据朔方郡，自称大丞相，北连突厥。
唐高祖武德元年李渊建立唐王朝后，为了巩固关中，向全国进军打下一块根据地，就先要消灭对其威胁最大的西北一带割据势力。割据金城的薛举父子集团，在李渊进入关中的第二年，就派薛仁杲进攻扶风，但是被李世民打败。唐武德元年六月，薛举进攻泾州，于是七月，唐军与薛军在泾州交战，唐军大败。八月，薛举死，唐军以李世民为元帅，再次出兵。
十一月，唐军到高墌，薛仁杲派宗罗睺率军十余万出战，唐军坚壁不出，相持六十余日，薛军粮尽，其将梁胡郎投降。李世民令梁实率一部兵驻在浅水源以诱敌出击，宗罗睺尽以精锐来攻，梁实守险不出，李世民在薛军急攻疲惫时，增派庞玉在浅水源南列阵以吸引薛军兵力，李世民率主力自源北直捣薛军后方，宗罗睺引兵回战。唐军里外夹击，李世民率数十精骑冲陷敌阵，薛军大败。李世民乘胜率二千余骑追击，遂围折墌，守城薛军争自城上下降，薛仁杲被迫投降。
这样长安城西北面的威胁就基本消除，可以调整兵力用来对付东面的敌人。对于关中以东的敌人，主要是洛阳的王世充和朔方的梁师都。王世充的势力虽较雄厚，却只能保守一方，无力向西争夺关中，不过却起着阻碍洛阳以东各有力集团向关中发展的作用，为李渊进入关中和李世民消灭薛举集团提供了有利的条件。
武德三年七月，李世民总督诸军进攻洛阳，王世充亦调集各州劲卒在东都洛阳附近防守。李世民率唐军进到新安后，派前军罗士信部围攻慈硝石间，自率五万人为后继。王世充率三万人来解围未成，退守东都。李世民令史万宝自宜阳进占龙门；刘德盛沿太行山东进围河内；王君廓进据洛口，断其粮道；黄君汉自河阴攻回洛城。
李世民率唐军主力进至北邙山连营逼围，王世充多次出击失败，唐军先后攻下回洛城、虎牢等要地，使东都陷于孤立。武德四年二月，唐军推进到城郊青城宫之际，遭到王世充二万人在谷水边的突然阻击。李世民即令精骑列阵于北邙，令屈突通率五千步兵先渡水攻击，李世民亲率精骑南下合击，王军后退，被歼七千余人。
唐军乘势追至城下，包围东都城，但屡攻不下。不久，东都外围最后据点相继降唐，李世民又俘虏了增援东都的窦建德，王世充被迫于五月投降。唐李世民军围东都之际，王世充求援于窦建德。窦于二月率军十余万人来援，攻下周桥后，西救东都。
三月，到达酸枣，窦军连续攻下管州、荥阳、阳翟等地。李世民决心借虎牢之险以阻击窦军，乃令李元吉继续围困东都，自率精锐三千五百人进抵虎牢，与窦军相持月余。唐军得知窦军将乘唐军牧马于河北时进攻虎牢，李世民就留下一千匹马放牧以诱窦军，五月窦军全部出动，列阵二十里，进逼唐军，李世民坚守待机。
自辰至午，在窦军疲惫松懈时，令宇文士及率三百骑出动探阵，见窦军动摇，即行全军出击，渡过汜水猛攻窦军。窦军遭到唐军突然袭击，仓促应战，溃乱大败，唐军追击三十里，杀伤三千余人，俘虏五万，并生俘窦建德。
当薛举与窦建德相继覆灭在唐军的铁蹄之下，至此长安往东至洛阳，往北至朔方便不再有足够威胁到长安的军事力量的存在，但是实力最强的突厥，便正好与唐朝相接了，长安此刻来自北方的巨大压力。想要稳固统治，该不该向突厥低头，或者说能不能避免突厥骑兵的威胁，是李渊父子和唐朝统治集团需要迫切考虑的问题。