武德九年（626年）六月初四，玄武门之变，李渊一日之间失去两子十孙，并被尉迟敬德执槊逼宫，无奈之下被迫退位，将皇位交予太宗李世民，从此政治生命终结，在六十一岁的年纪，进入了名为太上皇，实为软禁的退休生活。
太宗初登皇位，为显示孝顺，也为了塞悠悠众人之口，所以一直没有入住皇帝正寝——太极宫，而是将太极宫继续让与李渊居住，自己依旧住在太子东宫，处理政事。
李渊被迫退休后，心情基本是郁闷、孤独的，虽然生活上没有什么短缺，相比之前，还更为丰富，但是这并不是他所要的生活，从执掌天下，一言九鼎的天子，到形同软禁的“太上皇”，李渊的精神状况可想而知。
贞观三年（629年），太宗将李渊迁往大安宫居住，大安宫的地势低矮、卑湿，夏天十分炎热，相比于太极宫，条件要差很多。不过，李渊也没有很在意，对于失去了权力的前皇帝来说，物质生活的优劣，已经算不得什么大事了。
自从退位以来，李渊就基本什么也不管，也什么都管不了。入住大安宫后，李渊更是连外臣也基本不见了，当然，外臣们也没有敢于随意出入大安宫来拜见太上皇的胆色。之前，李渊与裴寂自晋阳时就非常要好，后来建立大唐后，也十分宠信他。自李渊退位后，也只有裴寂敢于择时拜见太上皇，李渊得以与裴寂畅谈，心情得以解郁。
但贞观三年，太宗借口裴寂政事处置不当，又纲法紊乱，将裴寂贬官到静州，裴寂再三请求，留在京师，太宗很不客气地对他说：“你才学平庸，全凭借太上皇的宠爱，才得以到今天的位置。武德政法谬误，，纲纪紊乱，都是你的责任。我顾念太上皇颜面，及晋阳旧情，不才忍处置你，有什么不满意！”裴寂无法，只得前往外地，并最终病死于贬官地。
太宗借明面斥责裴寂，但指桑骂槐之意明显，抨击裴寂，就是暗讽裴寂的后台，太上皇李渊“宠信庸碌之人，施政不当”，这也是以李渊的名声为衬托，来反衬自己治国的能力及朝野的声誉。
李渊登基之前，生有五子六女，至武德九年，又生了十多个儿子，十多个女儿。在贞观后，有记载的，还生了两个儿子，数个女儿。对于失去权力的老头儿来说，也只有在姬妾成群的腐败生活中，选择美色来麻醉自己了。
贞观四年（630年），太宗突击东突厥，一举破敌，并生擒颉利，获得“定襄大捷”，洗刷了大唐初立之时，曾向东突厥称臣之耻。消息传回长安，太宗在太极宫大宴群臣，以示庆贺。对于这次胜利，李渊也显露了退位后少有的欢愉之情：他主动出席了宴会，笑逐颜开，并在席间亲自弹起琵琶，以表示对于大唐胜利的高兴和激动。对于父皇的举动，太宗自然是再高兴不过了，太上皇的欢颜，不正是自己孝心所致么，于是自己也亲自下场，激动地跳起舞蹈，将父子情深，展示在天下臣民眼前。
这也是武德九年之后，父子二人质检，最为温馨动人的一幕。李渊也许是看到了儿子的励精图治，带领了大唐走向盛世，确实是比自己在位时要强，所以放下了心结，以这种方式，来表示他与二儿子的和解。
之后，李渊又像以前一样，再次退回大安宫，轻易不再露面。而太宗也以政事繁忙为由，很少前往大安宫拜见太上皇。贞观六年（632年），监察御史马周就曾经谏言：太上皇年迈，皇帝应多去看望，以慰太上皇。同时皇帝每次夏天都去九成宫避暑，而大安宫地势低矮、潮湿，太上皇夏日备受暑气煎熬，这事皇帝不应怠慢。
由此可以看出，太宗对于父皇，还是比较疏远，虽然不至于苛待，但是亲情淡薄，关系疏远，勉力弥补而已罢了。
贞观八年（634年），太宗表示，太上皇年迈，大安宫位置不好，宫殿陈旧，自己要为太上皇再造新宫，奉太上皇颐养天年。于是在长安北开建大明宫，作为太上皇的荣养之地及清暑之所。这也是太宗为了自己的口碑，所作出的姿态。
大明宫开建不过一年，贞观九年（635年）五月，李渊病重，初六，驾崩于大安宫垂拱殿前殿，终年七十。太宗依照礼法，规规矩矩地为李渊举行了符合皇家礼仪的葬礼，并率嫔妃子女等守孝，于礼法上没有任何问题。但是，至始至终，太宗没有哭。
当时他心里是想什么，是在怨恨父皇没有下决心，立自己为太子，并在兄弟之争中偏袒大哥，四弟。还是没有放下早已隔阂多年的父子关系，只是走形式一般地完成最后的仪式。这些，后人们都不会知道了。皇权至高无上，在权力面前，亲情显的是那么的不足道。
李渊死后，太宗起初给他上谥号太武皇帝，也许是这个谥号与北魏拓跋焘同谥，而拓跋焘是被子所弑杀，显的不合时宜，所以又改谥神尧皇帝，庙号高祖。之后子孙加谥号神尧大圣大光孝皇帝。
贞观九年十月，李渊被安葬于献陵。皇帝之陵墓，高九丈，献陵只有六丈。安葬后，太宗也很少去祭拜。而太宗在其妻长孙氏去世后，非常思念，就在长安建起层观，以望长孙氏所葬的昭陵，并让大臣们前来观看，问他们看得见远处的昭陵么。魏征假装看不见，一直望向远方，就是没有说话。太宗不悦，说：“这么大一个陵墓，就你看不见！”魏征回答：“我以为您说的是献陵，原来是昭陵啊！”，意为献陵矮小，不易发现，借机讽刺太宗。而太宗一时语塞，又不好发作，最终也没有办法反击魏征。
由此可见李渊在自己儿子心中的地位，李渊到死，也没有真正与儿子和解，没有被儿子原谅，或许自己也没有原谅儿子。在生命最后的九年里，父子基本是处于互相猜忌、互相疏远、最好两不相见的态度来度过的。这是李渊的悲哀，也是太宗李世民的为人诟病之处。
李渊五十二岁起兵晋阳，消灭群雄，亲手建立大唐。六十一岁时由于处置失措，导致诸子纷争，最终酿成兄弟相残。被迫退位后，在儿子的软禁中，足不出户，并成为了儿子创建大唐盛世的衬托者，七十岁时于默默无闻、、稍显落寞中走完一生，结局自然不是幸福、快乐的。但是对比他那个姨夫和表弟的遭遇来说，李渊已经足够幸运了，能够安度晚年，生活无忧，无事还能再生若干子女，李渊失去皇位后的生活，总算是以安稳平淡告终。