赵构杀岳飞从民国时期就有大师给他洗地，其中的一个说法是，这是为了夺取全国兵权，某家军就是军阀的标配。其实这种叫法只是当时习惯罢了，大家猜猜当时的杨家军是谁的队伍？更重要的是赵沟的这次集权改革只是欺负老实人罢了，乖乖交出兵权的韩世忠和岳飞他都动了杀心。但有一家人牢牢掌握着兵权，不但当时不给，赵构都彻底凉了，这家人还是手握重兵。

这家人就是南宋著名的吴家将，吴家三代人掌握的重兵在南宋长期坐二望一,时间更高达七十年以上（如果从吴玠兼宣抚处置司都统制，节制兴、文、龙三州军马算起，时间高到75年）。吴家兄弟执掌重兵可不是“人畜无害”的小白兔，其发迹要从张浚执掌西部算起。吴玠是老上司曲端的眼中钉，也是张浚看重的人才，是张浚任命的西部四大将之一（吴阶、王彦、刘锜、关师古）。这其中吴玠和关师古联手瓜分了曲端的部曲，关师古单枪匹马投降伪齐后，吴玠更是成了曲端军事遗产的唯一继承人，打破了四将之间的平衡。吴玠对兵权的渴求不在老上司曲端之下，朱熹的养父刘子羽和他关系不错，但老刘被罢官后，他就以最快速度吞下了老刘的部队。老刘的继任者卢立之好不容易又弄到了三万多人马，这位尸骨未寒，吴玠就又不打报告直接吞并，在绍兴初年吴家人马就已经高达七万余，在军头中仅次于张俊（张俊手下八万人）。

赵构当然知道吴玠的所作所为，但他只能默认.在西部只有吴玠兄弟击败了南宋名将试金石——宗弼，吴玠的七万人马又在川陕十万人马中处于绝对优势地位（“绍兴初 , 内外大军凡十九万四千余 ，而川、陕不与”，绍兴三年赵构盘点总兵力是“今有兵仅三十万 , 当更精择”，所以川陕兵力总数在十万左右）。在岳家军崛起后，吴家军又变成了全国第二。吴玠在1139年病死后，赵构一度想要收回吴家兵权，这一计划又被吴璘破坏，吴璘按照安排只能“以二万人守兴州 ”，但吴璘立刻派人联系哥哥的旧部，“玠之中部、选锋二万人分屯仙人关里外。其后 ， 璘又得之”。吴璘也是发展私人军力的行家，到了宋金和议后部下就变成了五万人，“兴州吴璘所部仅五万人”，吴家依旧是整个南宋不出前五的军头。

秦桧、赵构要求军头们交出兵权，吴璘照样纹丝不动。因为西部战事离不开吴家，整个南宋西部只有他家人马最多，“兴元杨政所部仅二万人 , 金州郭浩所部仅万人”，吴家是绝对控股方。吴家不光兵多，精锐也多，“四川精锐皆属吴璘”赵构用来制衡他的人马全上也是白给。赵构退位后，吴家世袭的兴州都统司兵力达六万人，仅次于南宋皇帝的中央殿前司（兵力七万三千），比岳家军后人组成的鄂州都统司多出一万多人，占到南宋418000人总兵力的七分之一。吴家也因此长保了七十多年的荣华富贵，岳飞这个老实人的下场他们更是引以为戒，所以金国在北伐时一提岳飞，他们全家就造反了。