当初，李广的堂弟李蔡和李广一起侍奉汉文帝，到景帝的时候，李蔡的功劳累积起来，已经做到二千石的高官。

武帝的时候，做到了代相国。在元朔五年(公元前一二四年)被任命为轻车将军，跟随大将军

卫青攻打匈奴右贤王有功，合于军中的律令，被封为乐安侯。元狩二年中(公元前一二一年)

替代公孙弘为丞相。

李蔡人品在九品中是属于下品里面的中等人物。名望、声望都比李广低得多。可是李广却没有得到爵位和封邑，官只做到卫尉、郎中，没超过九卿。但李蔡却被封为列侯，官位做到三公。

李广手下的那些军官和士兵们，甚至有的也得到了侯爵的封赏。李广曾经和观察云气、预占吉凶的阴阳家王朔闲谈说：

“自从汉朝攻打匈奴以来，我李广没有一次不参加战争。我所率领的各部军队里，校尉以下的军官，他们的才能还比不上中等的人，但是由于攻打匈奴的功劳，而受到封侯的有几十人。

我李广的才能并不比别人差，可是却没有得到一点儿可以获得侯爵封邑的功劳。这是为什么呢?

难道是我的相里不应该封侯!还是本来命里注定这样呢?”

王朔说：

“将军自己仔细回想一下，是否曾经做过自己认为遗憾的事?”

李广说：

“我曾经做过陇西太守，有一次羌族反叛，我用计引诱他们投降。但那投降的八百多个羌人，却又被我设诡计把他们在同一天都杀了。直到现在，使我感到最大遗憾的事，就只有这一件。”

王朔说：

“会降灾祸的事，没有比杀死已经投降的人更严重的，这就是将军所以不能封侯的原因呀!”