张苍是阳武人，喜好读书、音律和历法。秦朝时担任御史，负责掌管宫廷藏书和文书档案。因犯罪逃亡回家。等到沛公攻占土地经过阳武时，张苍以宾客的身份跟随沛公攻打南阳。张苍曾被判斩首之刑，他解开衣服趴在刑具上，身形高大，皮肤白皙肥胖如同瓠瓜，当时王陵看到后，惊叹他是个相貌出众的人才，于是向沛公进言，赦免了他的死罪。张苍随后跟随沛公向西进入武关，抵达咸阳。