素在世时就没有想到造反。
在长安时。杨勇并没有和杨素有多少交往，给韦孝宽做监军杨勇和杨素才有近距离接触，感觉到杨素自视甚高。而且不把人命放在人里，杨勇下意识对他不喜，也没有故意亲近。
杨勇听到杨素越过自己向朝庭行文，忍不住有几分恼怒，只是不解地道：“杨素为什么此时要牵移城居民，而且还故意张扬出来，难道他不怕城居民会暴乱？”
李纲苦笑道：“大人，恐怕杨素是巴不得城有人暴乱，城内有不少尉迟迥以前的旧部，只是大人曾向丞相建议只诛首恶，不问胁从，得到丞相肯定，杨素对这些人素无好感，却不好动手铲除，如果城发生暴乱，杨素刚好可以将此事扯到尉迟迥余部身上，将那些人一网打尽。”
没想到杨素会如此私心用事，杨勇重重的拍了一下桌子：“不行，不能让杨素乱来，尉迟迥余部可有数十万人之多，若是城地旧部被杨素一网打尽，其他各地之人不免兔死狐悲，很可能铤而走险，齐地决不可以再发生一次叛乱，马上行文严厉申斥杨素，让他赶快张贴布告，牵移城居民纯属谣言，以便安稳人心。”
李纲却没有赞同：“大人，此事不妥，杨素已将此事报告朝庭，此时朝庭尚没有定论，若是朝