开皇十二年，杨素被任命为尚书右仆射，与左仆射高颎同掌朝政，成为隋文帝的左膀右臂。
开皇十三年，杨坚在岐州之北兴建仁寿宫，并让杨素负责监造。杨素为讨好杨坚，平山填谷以构筑宫殿，在营建过程中，他督役严急，死亡者数以万计。杨素将他们的尸体直接焚毁。其残暴程度令人发指。真是应了那句话，兴，百姓苦，亡，百姓苦！
晚年的杨坚变得喜怒不定，量刑定罪都是根据个人感情用事。而得到杨坚信任的杨素不但不劝谏，反而迎合杨坚，同时打击报复其他大臣。
开皇十九年，为了教训经常扰边的突厥，隋文帝决定发兵进攻突厥。隋文帝任命杨素为灵州道行军总管，统帅三路兵马进攻突厥。在此战中，杨素一改陈旧落后的车、骑、步互相卫护的阵法，大胆使用骑兵突击，将突厥打得落花流水。
此后，杨素又再次打败突厥，逼得突厥人远逃，漠南再没有他们的踪迹了。
随着，杨素在隋朝如日中天，早有争夺太子之位的杨广也主动结交杨素，杨素权衡利弊后开始押宝杨广。颇有城府的杨素先是称赞杨广的孝顺，在确定独孤皇后有废太子杨勇的意思后，杨素便在她面前竭力诋毁杨勇。独孤皇后听后，竟然赐给杨素财物，让他劝杨坚废了太子杨勇。
在杨素和独孤皇后的两边发力之下，杨坚最终是废黜杨勇，同时改立晋王杨广为太子，杨素押宝成功。
随着杨素的地位水涨船高，他的弟弟、叔父等多人都位列公卿。杨素的那些儿子虽然都没有什么汗马之劳，却都当官做到柱国、刺史，真的是一人得道鸡犬升天。
杨素家里有家童几千人，那些乐妓、小妾更是成百上千。杨素的府第华丽奢侈，不知道的人还以为是皇宫。在那些大城市，杨素的旅店、水磨和肥沃的田地、华丽的房子都以千百来计算。
史书评价说，杨素的显贵，南北朝以来无人可与他相比。
杨素作为隋朝显贵大臣，本应一心为公。然而杨素这个人很是阴险，心胸狭隘，。大臣中如果有冒犯他的，除史万岁被他献谗言致死外，像贺若弼、柳述等，都被他在暗中中伤，甚至于皇子蜀王杨秀被废也是出自杨素之手；如果杨素的亲信或其亲属，即使无才可用，杨素也一定加以推荐提拔。于是，朝廷内外没有不怕杨素、不归附杨素的，所谓结党营私说的不就是他这种人嘛！
好在，太子、蜀王获罪被废的时候，其他大臣都震惊惶竦，杨素却喜形于色，杨坚很是不爽。再加上其他大臣的弹劾，杨坚便逐渐疏远和猜忌杨素。杨坚也是玩弄权术的高手，他开始表面尊崇、优待杨素，实则将其架空。
仁寿四年，杨素跟随杨坚到仁寿宫休养。杨坚病重的时候，杨素和驸马柳述、元岩等人入宫侍候。当时杨广为防不测写了一封信给杨素问计。杨素回信却被宫人误送到了杨坚的住处，杨坚见信大怒。恰好此时，宣华夫人又对杨坚说杨广对她无礼。
杨坚大发脾气，要召见杨勇，准备重新立他为太子。然后，杨广联合杨素等人发动政变，杨坚突然驾崩，杨广成功上位，为隋炀帝。
杨广上位后，想要诱骗他的弟弟杨谅回长安，杨谅不甘俯首就范，就起兵反叛了。杨广派老狐狸杨素亲自出马，杨素三除两下就把杨谅打趴了，不得不投降。
大业元年，杨广升杨素为尚书令，加拜为太子太师，赏赐无数。同年，杨广鉴于杨素有搞过基建工程，就让他负责营造东都洛阳。
虽然，杨素是杨广上位的大功臣，又平定了杨谅的叛乱，但杨广却对他非常猜忌，表面上对他礼遇有加，实际上恩情却很淡薄。
等到杨素卧病在床的时候，杨广常派一些名医前去给他治病，还赐他许多珍贵的药物，然而却总在暗地里问医生杨素到底什么时候会死。
聪明一世的杨素当然知道自己的名望和地位已到了极限，自己的这位新主子对自己的猜忌，于是他就干脆直接不肯吃药，一心寻死。
大业二年，杨素因病去世，终年63岁。杨广追赠他为光禄大夫、太尉公及弘农、河东等十郡太守，谥号“景武”，还给他办了个隆重的丧事，也算是给足了面子。
杨素死后，他的儿子杨玄感继承了他的爵位。大业九年，杨玄感在黎阳起兵叛乱，失败后遭到诛杀，杨氏家族遭受灭族之灾，这也算是上天对杨素冥冥之中的报应吧！
唐代史学家李延寿评价他：杨素年轻的时候为人洒脱而不受羁绊，兼有文才武略，志向远大，常以立功扬名自期。隋文帝将要扫清天下的时候，常把要事、重任托付给他。他在宇内扫尽妖孽的气焰，使四海之内风平浪静；在边疆摧毁敌人骁勇的骑兵，迫使匈奴逃离得远远的。推究他铲平敌人、平定叛乱，有功之臣没有谁能比得过他；看他那些神奇的计策和高水平的文章，可以称得上一代俊杰。
然而他一味地凭借自己的聪明和欺诈自立于世，不走仁义的正道，阿谀奉迎皇帝，使皇帝的行为有些偏离；修建仁寿宫铺张浪费，使皇帝陷于奢侈的名声；策划废除皇帝的嫡亲长子，使国家最终倾覆，皇家的祖庙变成一片废墟。这祸害衰败的源头，不就是杨素吗！