许敬宗毕竟还是个经历过大风大浪的聪明人，他在自己被重用之后，做起事来一向小心翼翼，十分谨慎。可是李义府却和许敬宗完全不同了，明目张胆地卖官，不仅有拿钱来孝敬他的，竟然还有拿贵族身份来换取官职的，实在令人匪夷所思。

赵郡（今河北赵县）李氏在唐朝可谓是一支望族，声名显赫，曾有十七个人出任宰相，威震一时。赵郡李氏的后裔，没有人不为自己家族的荣耀感到自豪的。可是，同样出身于赵郡李氏的李崇德却只是一个小小的给事中，他不甘于居人之下，为了攀附权贵，升官发财，他不惜一切地寻找升迁的途径。就这样，他注意到了李义府。

在当时，李义府已经贵为宰相，但是出身并不是很显耀，这时李崇德竟然主动来找到了他，李义府开始动了心眼。为了提升自己的地位，他和李崇德一拍即合，和赵郡李氏攀上了亲戚，说自己是赵郡李氏的后裔。李崇德也是一个有奶就是娘的小人，有这么一个权倾朝野的“本家”，他自己当然也有荣耀，于是立即把李义府的名字写到了他们的家谱上。

纸是包不住火的，这件事很快就被传开去，人们背地里纷纷笑话李义府的恬不知耻。李义府脸皮还真厚，虽然知道人们对自己议论纷纷，他只由人们说去，依旧我行我素，不把别人放在眼里，气焰越发地嚣张起来。

对于李义府的趾高气扬，自然有人看不过眼，杜正伦就是其中之一。这个杜正伦曾是李世民的“秦府十八学士”之一，在隋文帝的时代已经名满一方。在贞观年间，曾经两次担任中书侍郎，兼太子左庶子。就在显庆年间，在韩瑗、来济等人被贬出朝廷之后，武则天曾有心提拔一些非关陇势力的人员出任要职。这样，杜正伦被高宗提升为了宰相。

显庆三年十月，杜正伦秘密地与中书侍郎李友益商量，要设法查出李义府的种种犯罪证据，然后一举除掉这个小人。可是，不知道怎么回事，这个消息被李义府知道了，来了个恶人先告状。

于是这一天，高宗把李义府和杜正伦两个人一起叫了过来，询问缘由。没想到这两个人却在大殿上争辩得不可开交，高宗一生气，把两个人统统赶了出去。