杨素晓得天子的心机，以是闻召即归，表示并无异心，而后仍以余寇未靖，请再出师。杨坚看到他见诏即回并无不忠之心，且儿子杨广已经到了江南。便下诏给返京途中的杨素剿说：“朕忧劳百姓，日旰忘食，一物失所，情深纳隍。江外狂狡，妄构妖逆，虽经殄除，民未安堵。犹有贼首凶魁，流亡山洞，恐其聚结，重扰百姓。内史令、上柱国、越国公素，识达古今，经谋长远，比曾推毂，旧著威名，宜任以大兵，总为元帅，宣布朝风，振扬威武，擒剪叛亡，慰劳黎庶。军民事件，一以委之”。

杨坚擅权时，杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其交好。杨坚也知杨素之才，对其也非常正视，不久便以杨素为汴州刺史。后为行军总管插手过讨伐尉迟迥，不久任大将军，领河内兵打败宇文胄军，斩宇文胄。因功迁徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。杨坚即位后，杨素任上柱国，并参与了隋朝法律的修定。开皇四年(584年)，拜御史大夫。因为其妻郑氏是个泼妇，杨素一次与其吵架说了一句：“我若作天子，卿定不堪为皇后”。成果被其妻告密，杨素是以开罪，并被免官。幸亏杨坚一向筹办灭亡陈朝，同一中国，杨素曾数次献伐陈之策，此次被免官后，杨素再次献伐陈之策。开皇五年(585年)十月，知杨素才气的杨坚让他担负信州总管，经略长江上游，后为行军元帅与杨广南征灭陈。杨素带领水军在长江上游打的南陈将领心惊胆战，他带领的水军气势弘大，大小战船铺满了整了江面，旗号盔甲在阳光下素净刺眼。而杨素本人端坐在平乘大船之上，面貌体格雄浑魁伟的他让南陈将领望而生畏，都说：“清河公就是长江之神啊！”平陈后因功册封越国公，以其子杨玄感为仪同，杨玄奖为清河郡公。赐物万段，粟万石，加以金宝，又赐陈后主妹及女妓十四人。后又代替去了并州的杨广任内史令成为宰相之一。

而刚从并州回到长安后又马不断蹄赶往江南的杨广看到杨素快速进军，便当即派大将郭衍“领精锐万人先屯京口”，然后向西进兵皖南“黟，歙诸洞”，尽灭叛军；再者让本身晋王府参军段达也率军一万打击方、滁二州，又破汪文进于宣州，有力地共同了杨素的军事行动。

杨素带兵兵变，一起势如破竹，但是杨坚征召的儿子杨广却还没有到江南，因而杨坚担忧杨素久在江南领兵对朝廷倒霉便以杨素久战于外，驰派遣京，慰劳备至，赏赍更厚，当时赐彩物三千段，并加封其子玄感为上开府。这江南兵变方才平的差未几的时候杨坚就吃紧派遣统兵的杨素，就是因为儿子不在他不放心军队把握在别人的手里。