关于智伯与赵襄子结怨一事，史籍中有两种不同的记载。《左传》结尾处记载鲁悼公四年（前463年），智伯率军伐郑，其时赵襄子尚为赵氏太子，随军出征，在攻入郑都城门之际，智伯命赵襄子先入城，襄子请智伯先入，智伯当时就口出恶言，说：“恶而无勇，何以为子？”智伯认为襄子缺乏勇气，不敢入城，况且相貌又长得那样丑恶，怎么还能做太子！由此赵襄子十分忌恨智伯。《史记?赵世家》记载，晋出公十一年（前464年），智伯伐郑，赵襄子为将领，智伯酒醉之后，给赵襄子灌酒，还殴击襄子。赵氏的家臣纷纷要求以死相拼，襄子劝阻了大家，并说正是因为自己能够忍辱，才被父亲立为太子。他内心里对智伯的怨恨自是不言而喻。然而返国后，智伯居然还给襄子之父赵简子做工作，要他废除襄子，另立太子。简子不听。

这两处记载虽然有差异，但都是智伯侮辱赵襄子。特别值得注意的是，两处都有智伯对襄子为太子的不满，企图动摇他的地位。《史记》中所载，智伯竟是要干预赵氏的家政，这就更引起襄子的愤恨。赵襄子的太子地位可谓来之不易。襄子名毋恤，因其母为赵简子侍婢，又是狄人，本来没有资格继承赵氏的基业。然而他的识见与才干逐渐被简子认识，受到宠爱。一次，简子对几个儿子说，他把宝符藏在常山（今河北曲阳西北）上，谁先得到有赏。诸子回来俱无所得，只有毋恤说他已得到。他说，从常山居高临下攻击代国，可以吞并代国，这就是宝。简子认为此子果有雄图大略，确实可以作为继承人，继续发展赵氏的势力。于是废太子伯鲁，立毋恤为太子。智伯企图阻挠毋恤掌权，自然是想尽早去除一个强有力的对手，从而遏制赵氏。这对于雄心勃勃的赵毋恤来说，能不恨之入骨吗？