而后，杨素屡立军功，北齐灭亡后，加上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜。北周建德六年(577年)十月，陈宣帝陈顼闻北周灭北齐，遂派名将吴明彻率军北伐。吴明彻军至北周吕梁(江苏徐州东南)，击败徐州总管梁士彦，进围彭城(今江苏徐州)。北周建德七年(578年)仲春，杨素随上大将军王轨大破陈军，俘主将吴明彻。杨素遂治东楚州事。其弟杨慎被封为义安侯。陈将樊毅筑城于泗口，杨素将其击走之，并将所筑之城全数破坏。北周宣政元年(578年)六月，周武帝归天，周宣帝继位，杨素袭父爵临贞县公，并以其弟杨约为安成公。北周大象元年(579年)，杨素随上柱国韦孝宽攻南陈淮南，率军霸占盱眙(江苏盱眙东北)、钟离(安徽凤阳东北)。

杨素带兵兵变，一起势如破竹，但是杨坚征召的儿子杨广却还没有到江南，因而杨坚担忧杨素久在江南领兵对朝廷倒霉便以杨素久战于外，驰派遣京，慰劳备至，赏赍更厚，当时赐彩物三千段，并加封其子玄感为上开府。这江南兵变方才平的差未几的时候杨坚就吃紧派遣统兵的杨素，就是因为儿子不在他不放心军队把握在别人的手里。

当时出身于番禺越族首级世家、原南陈王勇部将的王仲宣见江南尽乱，便联络泷州土著大酋长、罗州剌史陈佛智反隋。苍梧的陈坦、冈州的冯岑翁、梁化的邓马头、藤州的李光略、罗州的庞靖等处所酋长也纷繁呼应。王仲宣叛军权势大，来势凶悍，兵围广州城，又进兵扼守衡岭。隋将韦?渤稣剑?惺妇x妇?t谡馕＜惫赝罚?诘钡赜凶懦绺咄??馁?蛉送i矶?觯?杆俜1?饩裙阒葜?！k?汕菜镒臃腙崖时?巴?仍???腙哑?蚱鹨宓亩游椋?虏涣耸郑?俪俨辉阜1?y?蛉酥?懒苏飧銮榭龊螅??淮笈?∷?砩洗?读朔腙眩?阉?匮涸谥莞?嘤?铩7蛉擞敕腙阉涫亲嫠锕叵担??谫?蛉说男闹校?词枪?依?娓哂诟鋈死?妫?＜惫赝罚??挛?兀?簧??坏闼角槊孀印7蛉斯匮毫朔腙押螅?锤呐闪硪凰镒臃氚宦适μ址ツ娴吵路鹬恰7氚宦适Φ焦阒莩窍拢?胱な毓阒莸墓俦?镉ν夂希?杆俪龌鳎?殉路鹬钦队诼硐隆h缓螅?氚挥只颖?聊虾＃?胨宄?蠼?乖傅脑??崾Γ?餐?坊魍踔傩??竦么蠼荩?だ??椤?p>

受命平叛的杨素因军情告急没有等在并州返来的杨广便先行解缆，率军由杨子津(江苏扬州南)渡江，起首击破叛军朱莫问(自称南徐州刺史)于京口(江苏镇江)。继而击败晋陵(江苏常州)顾世兴，顾世兴率其都督鲍迁等再战，杨素击破之，俘鲍迁以下3000余人。又进击无锡叶略，平之。时沈玄侩、沈杰等等正围攻姑苏，刺史皇甫绩屡战倒霉，杨素军赶到将其击败，沈玄侩逃至南沙人陆孟孙处，杨素进击陆孟孙于松江，大破之，活捉陆孟孙、沈玄侩。黟、歙叛军沈雪、沈能据栅自守，又攻拔之。高聪明(自称东扬州刺史)率部扼守浙江(钱塘江)东岸堡垒，屯据关键，四周百余里，船舰千艘，粉饰江面，鼓噪而进。总管来护儿建议：“吴人累锐，利在舟楫。必死之贼，难与争锋。公且严阵以待之，勿与接刃，告假奇兵数千，潜度江，掩破其壁，使退无所归，进不得战，此韩信破赵之策也”。杨素纳其言，并命其率轻型战船数百艘，偷渡浙江，以奇兵突袭，并燃烧高聪明火线堡垒，使其惊骇不安；杨素则乘机率军从正面突击，大败高聪明军。而后，杨素派行军总管史万岁率军2000人打击婺州，自率主力由海道追击逃入海中的高聪明，直趋温州。高聪明来战，杨素将其击败，俘数千人。而后又安定蔡道人、汪文进。杨素在温州击败沈孝彻后，便由陆路转向露台、临海(今属浙江)，持续追击反隋散兵，前后战役达100多次。高聪明退守闽、越。