大业十二年(公元616年)，由于各地起义队伍迅速发展，隋炀帝意识到隋王朝危在旦夕，便将注意力放到镇压农民起义上来。隋王朝逐渐加强了对起义军的镇压，但各路起义军经过持久的战斗，壮大了力量，也开始与它对抗，攻陷了很多郡县，消灭了大量的郡兵和府兵。
在隋王朝集中力量进行镇压的情况下，少数最早的起义军受到挫折。起义军吸取分散作战易于被各个击破的教训，在大业十三年(公元617年)初，形成了杜伏威领导的江淮起义军、窦建德领导的河北起义军与李密、翟让领导的瓦岗军三大义军。
瓦岗军的首领翟让原来在东郡衙门里当差，因为得罪了上司，被关进了监牢，还被判了死罪。有个狱吏很同情他，在一天夜里，偷偷地给翟让解下镣铐，把他放了。
持盾步兵俑 隋
这时，有一个叫李密的青年前来投奔翟让，并且帮助他整顿人马。李密对翟让说：“从前刘邦、项羽，也不过是普通老百姓，后来推翻了秦朝。现在皇上昏庸残暴，民怨沸腾，官军大部分又远在辽东。您手下兵精粮足，要拿下东都和长安，打倒暴君，是很容易办到的事!”