杨素带兵兵变，一起势如破竹，但是杨坚征召的儿子杨广却还没有到江南，因而杨坚担忧杨素久在江南领兵对朝廷倒霉便以杨素久战于外，驰派遣京，慰劳备至，赏赍更厚，当时赐彩物三千段，并加封其子玄感为上开府。这江南兵变方才平的差未几的时候杨坚就吃紧派遣统兵的杨素，就是因为儿子不在他不放心军队把握在别人的手里。

杨坚擅权时，杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其交好。杨坚也知杨素之才，对其也非常正视，不久便以杨素为汴州刺史。后为行军总管插手过讨伐尉迟迥，不久任大将军，领河内兵打败宇文胄军，斩宇文胄。因功迁徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。杨坚即位后，杨素任上柱国，并参与了隋朝法律的修定。开皇四年(584年)，拜御史大夫。因为其妻郑氏是个泼妇，杨素一次与其吵架说了一句：“我若作天子，卿定不堪为皇后”。成果被其妻告密，杨素是以开罪，并被免官。幸亏杨坚一向筹办灭亡陈朝，同一中国，杨素曾数次献伐陈之策，此次被免官后，杨素再次献伐陈之策。开皇五年(585年)十月，知杨素才气的杨坚让他担负信州总管，经略长江上游，后为行军元帅与杨广南征灭陈。杨素带领水军在长江上游打的南陈将领心惊胆战，他带领的水军气势弘大，大小战船铺满了整了江面，旗号盔甲在阳光下素净刺眼。而杨素本人端坐在平乘大船之上，面貌体格雄浑魁伟的他让南陈将领望而生畏，都说：“清河公就是长江之神啊！”平陈后因功册封越国公，以其子杨玄感为仪同，杨玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈后主妹及女妓十四人。后又代替去了并州的杨广任内史令成为宰相之一。