萧何说：“刘季平日只爱说大话，很少办成好事。”高祖早就看不起这些郡府中的头面人物，就毫不谦逊地坐了上位，神色自若。酒到半醉，吕公以目示意请高祖留下，散席时，挽留高祖缓行。吕公对高祖说：“鄙人年轻时就研究相术，看了许多人，都不及您的相高贵，希望您多多保重。我有一个亲生女儿，愿意嫁给您为妻。”客走后，吕妈吵嚷吕公说：“你往日总说我女儿生相有福，要嫁与贵人。沛令和你甚好，想娶我女你不肯，今日为何随便许配给刘季？”吕公笑道：“这不是你们妇人女子所知。”结果还是把女儿嫁给高祖了。吕公女就是后来的吕后，生了汉孝惠帝及鲁元公主。

汉高祖曾辞去亭长回家务农。吕后和两个孩子住在田间小棚里，有一位过路老丈向其讨水喝，吕后还留他吃了饭。老丈看了吕后的相赞道：“夫人是天下贵人。”吕后请他给两个孩子看相，他看了孝惠帝，说：“夫人之所以能成为贵人，是因为有这个儿子。”他又看了鲁元公主，也说将来是位贵人。老丈走后，高祖从另一间田舍归来，吕后向他备言前事，说那位老丈相我母子三人都是大贵之相。高祖问老丈何在，吕后说：“其走未远。”高祖追及老丈，求问自己的生相。老丈说：

“刚才说夫人及令郎等生相大贵，都是由于您的洪福。您的生相是贵不可言。”高祖连忙称谢道：“果真如老先生所说，我永远会记住您的指点之恩。”到高祖登基后，这位老丈的去向却不得而知了。

汉高祖当亭长，戴着竹皮的斗笠。派捕盗的亭卒到薛地去学制作竹皮斗笠的手艺，他经常戴着这种斗笠，到身居高位时仍戴着它。后来称这种斗笠叫“刘氏冠”。

汉高祖以亭长的身份为沛县送役夫去骊山，役夫途中逃亡甚多。他想到骊山时可能都会逃亡，就到丰西泽中亭，留下役夫们饮酒，到夜晚将所有役夫全部放走。他说：“大家干脆都逃走吧！我从今也要远走高飞了！”役夫中有血气方刚的十多人愿意与高祖一起走。高祖乘着酒兴，带领众人从泽中小道上逃走，派一人到前面探路。

探路人回头来报：“前面有大蛇挡道，转去为宜。”高祖带醉地说：“勇士前行，何所畏惧？”于是亲自向前，拔剑斩蛇，蛇被截为两段，道路可通了。行数里，高祖既醉又困，卧于路上。有人从后面赶上，经过高祖斩蛇之处，见一位老妈妈夜间在路旁哭泣。此人询问原因，老妈妈说：“别人杀了我的儿子。”

此人说：“妈妈的儿子为何被人所杀？”老妈妈说：“我的孩子是白帝子，变成大蛇，挡着道路，遇上赤帝子被斩了，所以我在此哭泣。”此人以为这位老妈妈是信口胡言，想盘诘一番，一眨眼却不见了她的踪影。此人追上高祖时，高祖已经醒来，就备述所见，高祖心中暗自高兴，更相信自己要成大气候。一批随从也越来越拥戴他。

秦始皇曾听人说：“东南有天子云气。”于是始皇东巡对这种云气进行镇塞。高祖有时隐蔽在芒砀山泽之中，吕后与别人去寻找他，总容易找到。高祖颇觉奇怪，问其原因。吕后说：“你逗留的地方上面有层云气，按着有云气的地方去寻你就会找到。”高祖又很高兴。沛中子弟也听到这种传说，很多人都想依附于他。

秋七月，陈涉在蕲县起义，到陈地，自称为楚王。派武臣、张耳、陈余略取赵地。八月，武臣自立为赵王。各郡县相继发生杀死主要官吏以响应陈涉的事。九月，沛县令想用沛县响应陈涉，幕僚萧何、曹参进言说：“你身为秦朝官吏，现在想背叛秦朝，想率领沛中子弟起义，大家恐怕不会相信。望你招收那些逃亡在外的人，可以得数百人，靠这些人的力量来号召有顾虑的沛中子弟，沛中子弟就不能不听。”于是沛县令派樊哙去邀请高祖。此时高祖已经拥有数百之众了。