霍光肯定属于亲近所谓卫青、霍去病集团，但所谓卫霍集团其实是个伪命题。首先，在客观上说，随着卫青和霍去病的先后去世，所谓卫霍集团的中心人物更是已经消失;其次汉武帝一生权谋手段相当高超，即使卫青活着的时候，一直也不敢有任何越轨行为，所谓卫霍集团只不过是在汉武帝控制下的有亲戚关系的能臣集团;最后，霍光被武帝信任重用，并托孤是因为他对霍光比较了解，认为他能保证刘家的江山不会轻易丢掉。

   至于霍光废刘贺而另立汉宣帝刘病已，主要是为了维护自已手中掌控的朝政大权，刘贺被废主要是因为他操之过急，没有妥善处理和霍光的关系，而刘病已的帝位之所以能立住，是因为他懂得韬光养晦，懂得如何与霍光处理关系，霍光能让刘病已立住帝位，也是因为刘病已维持了霍光手中的朝政大权，这样二人才维持到了最后，直至霍光病死。

   霍光作为霍去病的兄弟，对于延续霍家的影响，一定发挥着积极作用，而对于卫青和卫子夫，估计霍光也是有一定情感的，因为他们毕竟是他和哥哥获得武帝重用重要因素。但是，霍光在政治上是理性的，他并没有因为自己成为托孤大臣，而去刻意关注刘病已。

   所以，在他心中还是以武帝的托孤为重的，并没有谋划废昭帝，即使是昭帝不幸早死，他首先考虑的也是昌邑王刘贺，而刘贺的被废应该是他没有处理好与霍光的关系造成的，直到这时，霍光才选定戾太子刘据的孙子刘病已继承了皇位。所以，霍光最后还是报答了卫子夫和卫青，也算是了了他内心深处的一个心愿!