张苍在反秦战争时期，以宾客的身份跟随沛公攻打南阳。楚汉战争时期，张苍先后担任过常山郡守、代相、赵相等。汉定天下后，又跟随高祖平叛燕王臧荼的谋反。他早年在荀子门下学习，与李斯、韩非等师出同门。他本来就非常喜欢读书，在秦朝时担任柱下史和御史，掌管宫中的各种文书档案，使他得以遍览群书，精进学问。