张良曾经在淮阳(今河南淮阳)学习礼制，到东方会见了当时的一位贤者仓海君。寻找到了一位大力士，给他特意制造了一个重一百二十斤的大铁锤。
秦始皇二十九年(前218年)，始皇巡游东方，张良和这个大力士暗中埋伏，在博浪沙(古地名、在今河南原阳县东南)袭击秦始皇，可惜误中了随行车辆。秦始皇大为震怒，命令全国各地大举搜捕，捉拿刺客。
为此，张良改名换姓，逃亡到下邳(今江苏睢宁西北)躲藏起来。
张良隐藏于下邳(今江苏省睢宁北)时，曾经到下邳的桥上随意散步，遇到一个穿粗布短衣的老者，走到张良面前，故意让鞋子掉到桥下，对张良说：“孺子，下取履！”(《史记·留侯世家》)张良感到惊讶，想揍他一顿，因为见他年老，勉强忍住气，把鞋子拾起来。
老者又说：“履我！”张良更是气愤，但想到既已给他拾来了鞋子，便跪下给他穿鞋，老者以足受之，含笑而去。
分开后张良特别惊讶，随著老者的去向注视他。
老者离开约莫一里路光景，又返回，说道：“孺子可教矣。后五日平明，与我会此。”(《史记·留侯世家》)张良很感惊异，跪下怔怔地答应了个“是”。五天后天刚亮，张良就去了。老者已经先在那里，生气地说：“与老人期，后，何也？”
便离开，并说：“后五日早会。”(《史记·留侯世家》)又过了五天，鸡刚刚叫，张良就去了，老者又先在那里，又生气地说：“后，何也？”
离开时嘱他：“后五日复早来。”(《史记·留侯世家》)过了五天，张良不到半夜就去了。过了一会老者也来了，高兴地说：“应当这样。”
随即拿出一编书，说道：“读此则为王者师矣。后十年兴。十三年孺子见我济北，谷城山下黄石即我矣。”(《史记·留侯世家》)于是一言不发而去。
从此张良再也没见到这位老人。天亮后看那编书，是《太公兵法》，张良因为觉得它不寻常，便经常读诵。十三年后，张良随高帝经过济北，果然得到谷城山下的黄石，当做宝物供奉。
等到张良死后，与黄石并葬。数百年后，李白经下邳，作诗以记其事云：
子房未虎啸，破产不为家。
沧海得壮士，椎秦博浪沙。
报韩虽不成，天地皆震动。
潜匿游下邳，岂曰非智勇。
我来祀桥上，怀古钦英风。
惟见碧流水，曾无黄石公。
张良多次用《太公兵法》的道理向刘邦献策，刘邦很赏识，常采用他的计策，而张良对别人讲《太公兵法》，都不能领悟，张良说：“沛公殆天授。”从此便一直跟随刘邦。
于是刘邦令韩王成留守阳翟，自己与张良南下攻宛(河南南阳)，西入武关。刘邦想用两万兵力进击秦蛲关(今陕西省商县西北)下的军队，张良献计说：“秦军尚强，不可轻视。
……