杨素是弘农华阴(陕西华阴)人，弘农华阴杨氏在当时重视出身家世的南北朝以及隋唐都是王谢望族，传闻杨坚本来不是弘农华阴杨氏的杨氏人，但是做了天子以后为了进步本身的出身家世判定地说本身出身弘农华阴杨氏，如许弄得杨素就有点像是皇室宗亲了。但是杨素的出头跟这所谓的皇亲干系一点干系都没有的，他出世官宦世家，祖父杨暄，做到北魏辅国将军、谏议大夫。父亲杨敷，北周汾州刺史。杨素“少落拓，有弘愿，不拘末节”。当时的人多不体味杨素，只要他的从叔祖北魏尚书仆射杨宽，每次在子孙面前提起杨素时总说：“处道当逸群绝伦，非常之器，非汝曹所逮也”。后与安宁人牛弘(前任隋朝礼部、吏部尚书)同窗共读，知识赅博，在文学、书法上均有成就，史乘称其“研精不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表”。他从小就好学，熟通经史，文章写得极好，别的还写得一手标致的草隶书法。当然我们说他文章写得好，那么好到甚么程度呢？当时的北周武帝让杨素草拟圣旨，杨素“下笔立成，词义兼美”，让北周武帝都极其赞叹，可见杨素的才学。

有了如许的才学，再加上杨素的家世，走上宦途便是理所当然的事情。我们晓得在隋朝之前是没有现在熟谙的科举轨制的，当时非论南朝还是北朝流行的都是门阀贵族的轨制，也就是仕进喜好论出身，祖被骗过大官的话先人想仕进就不难，再加上杨素本身很有才调，时北周大冢宰宇文护把持朝政，引其为中外记室，后转礼曹，加多数督。北周天和七年(公元572年)三月，北周武帝宇文邕诛杀宇文护亲掌朝政，杨素遭到连累。

这场大范围的叛逆背叛一时候让江南烽火连天，这对大隋和杨坚来讲都不是甚么功德，而镇守江南年幼的秦王杨俊对于江南局势底子没法把握与应对。因而杨坚只好下诏让内史令杨素领兵平叛，同时给并州总管晋王杨广下诏让他回长安、前去江南代替他的弟弟杨俊镇守江南。

而后杨素以其父杨敷死于北齐，但未受朝廷追封，上表申述。周武帝因杨素曾做过宇文护的官职而不予理踩他。杨素再三上表，弄得周武帝大怒，命令杀杨素。杨素大声地说：“臣事无道天子，死其分也”。周武帝闻后，对杨素刮目相看，赦其无罪，并追赠其父为大将军，谥忠壮，拜杨素为车骑大将军、仪同三司，并逐步对其有了好感。周武帝曾令杨素草拟圣旨，杨素下笔成章，文词富丽，周武帝赞美道：“善自勉之，勿忧不繁华。”而杨素却答复说：“臣但恐繁华来逼臣，臣无企图繁华”。