李广是陇西成纪人。他的先祖叫李信，秦朝时担任将领，就是追击并抓获燕太子丹的人。李广家世代传授射箭技艺。汉文帝十四年，匈奴大举入侵萧关，李广以良家子弟的身份参军抗击匈奴，因为擅长射箭，斩杀和俘获的敌人很多，被任命为郎官，担任骑常侍。他多次跟随汉文帝打猎，格斗杀死猛兽，汉文帝说：“可惜李广生不逢时，如果让他处在汉高祖时代，封个万户侯又算得了什么！”