但真正使他名传千古的，还是由于他的“大事不糊涂”。这种不糊涂，主要表现在两件事上。
北宋时期，边境经常不得安宁，有个党项族人李继迁，以前归顺过北宋，后来又叛宋，一次交战中，宋军俘虏了他的母亲。太宗得到消息后，想处死这个老太太，就单独召见了当时正掌管全国军事的寇准，跟他商量，准备在边境上大张旗鼓地把老太太杀掉，以便惩戒那些与朝廷作对的人。寇准从太宗那里回去时，故意经过宰相办公的地方，吕端就猜想可能是有大事想与他商量，就对寇准说：“边境上的日常事务，我没必要知道。但如果是军国大事，我位居宰相，你应该告诉我。”寇准也就原原本本地告诉了他。吕端认为这样做不合适，让寇准暂缓处理，他就马上去对太宗说：“从前楚汉相争时，项羽抓住了刘邦的父亲，想要把他在阵前用锅煮了，可是刘邦却毫不在乎，甚至还要求项羽分他一杯肉汤喝。很多做大事的人是不会顾虑父母的，更何况李继迁是个蛮夷叛乱之人呢?陛下今天杀了老太太，明天就能捉住李继迁吗?如果捉不住，那只能结下怨仇，更坚定他的反叛之心。”吕端又建议在延州妥善安置老太太，对李继迁实行攻心战。太宗赞同。后来，李母病死在延州，李继迁在与吐蕃作战时中箭身亡，他的儿子则归顺了宋朝。吕端的高瞻远瞩收到了很好的效果。