晋献公在骊姬叛乱之时大杀公室子孙，造成了“晋无公族”的局面。后来的晋成公以“宦卿之适子而为之田，以为公族”，赵盾又让公室外的异姓之臣成为贵族，晋国君室的实力就此逐渐削弱，非公室的卿大夫的权力大大增加，这些异姓公卿之间不断进行争斗。春秋末年，晋国就剩下了魏、赵、韩、范、知、中行氏六家大夫了，是为“六卿”，而知氏的实力最强。

知氏家族雄心勃勃，他逐步消灭异己，以期有朝一日自为君王。公元前458年，范氏和中行氏在知、韩、赵、魏的联合打击下覆灭，六卿只剩下了四卿。为了早日实现自己的君主之梦，知家的大夫知伯瑶打算消灭另外三家。他心生一计，建议每家各归还晋公室一百里土地和人口，以振兴晋君的实力，恢复其自文公以来的霸主雄风。赵襄子、韩康子、魏桓子都是聪明人，听了知伯的话就知道这是想削弱他们三家，但是他们各自的想法不同。韩家和魏家相继将土地和人口交了，赵家则不肯，赵襄子说：“这些东西都是祖先用功劳换来的，我为什么要交出来？”知伯瑶大怒，与韩、魏订下协议，答应他们灭赵氏后平分赵家的财产，于是三家在公元前455年联合出兵攻打赵氏。

赵襄子见敌人来势汹汹，知道不敌，就领军退至老巢晋阳。晋阳城墙高而且坚固，粮草也十分充足，且地利与人和占尽，知伯瑶围了三年都无法破城。