卫青字仲卿。他的父亲郑季是河东平阳人，以县吏的身份在平阳侯家当差。平阳侯曹寿娶了汉武帝的姐姐阳信长公主。郑季与平阳侯家的婢女卫媪私通，生下卫青。卫青有同母兄长卫长君和姐姐卫子夫，卫子夫从平阳公主家得到汉武帝的宠幸，所以卫青冒用卫姓。卫媪的长女叫卫君孺，次女叫卫少兒，三女就是卫子夫。卫子夫的弟弟卫步广，也都冒用卫姓。