因为卫青听话，实际上古代的文人和武将是看不起卫青的，认为卫青是汉武帝的家奴。和同时代霍去病的张扬、桀骜不驯不同，卫青是非常恪守君臣礼仪和臣子之道的，甚至可以说是非常卑微的。在古代臣子是以敢于规谏皇帝为荣的，《史记》和《汉书》更是将卫青放在了《佞幸传》里，这就是因为卫青无原则的卑微、听话。这样的人怎么可能结党营私。

首先卫青的出身就让卫青一直谨小慎微，得遇赏识之后也是从不干涉国政，汉武帝让打哪里就打哪里，是汉武帝心腹中的心腹

作为卫子夫的弟弟，在卫子夫没有被汉武帝相中的时候，卫青不过是阳平公主府下的马童。而卫青还是奴婢私通的私生子，更是为人所鄙夷。幸好有卫子夫的关系，卫青这才得以有机会平步青云。

卫青的确是有本事，远征大漠七战七捷，汉武帝对匈奴功绩，卫青要占据一半。但是卫青谨小慎微，讨好巴结汉武帝却是从未缺席过。每次被汉武帝赏赐，都是能推就推，即使推辞不过也会将钱财用来巴结汉武帝的亲人、宠臣，这一点让司马迁和历代自认有风骨的文臣武将所不耻，但不可否认的是卫青的功绩一直又被人所敬仰。

汉武帝时期窦婴和田蚡被抄家灭族，根本原因就是养士太多，目无王法

《史记.卫将军骠骑列传》：苏建语余曰：“吾尝责大将军至尊重，而天下之贤大夫毋称焉，原将军观古名将所招选择贤者，勉之哉。大将军谢曰：‘自魏其、武安之厚宾客，天子常切齿。彼亲附士大夫，招贤绌不肖者，人主之柄也。人臣奉法遵职而已，何与招士！’骠骑亦放此意，其为将如此。

卫青虽然在军中和臣僚之中声望很高，很多大臣建言卫青应该开府养士，但是卫青否决，并且以汉武帝憎恶窦婴、田蚡为前车之鉴，从不招募从属。李广因丧失了立功封侯的最后机会，以及迷路的过失将会受到的军事审问自尽，李敢怨恨卫青，击伤了卫青，卫青却并没有计较，霍去病却忍受不住，亲自将李敢射杀为卫青报仇。

这一事件的鲜明对比也让卫青的谨小慎微深入人心，因此历代不乏有批评卫青依靠谄媚和裙带关系，但却无人说卫青结党，更无人质疑卫青的盖世功勋。

实际上卫青如此做真是高明的地方，汉武帝精明强悍，位极人臣者往往没有好下场。卫子夫年老色衰，王美人、李夫人等相继受宠的情况下，卫青却依旧没有受影响。卫青在世的时候，太子无人敢于构陷，汉武帝后期的那些腌臜事情，也是从卫青身死才开始冒头。