刘邦30岁时，当了秦朝沛县的乡村小吏“泗水亭长”。他为人豁达大度，胸怀开朗，做事很有气魄，三教九流很多人都和他合得来。沛县的萧何、曹参、夏侯婴、周勃、王陵、樊哙等人都是他的好朋友。这些人后来都成了刘氏领导集团的重要成员。
单父(今山东单县)人吕公十分欣赏刘邦的风度，把女儿嫁给了他。吕公的女儿名雉，就是吕后。
有一次，刘邦作为亭长负责送一批沛县的农民去咸阳骊山服役，路上陆续有人逃亡。刘邦想，这样下去，到骊山时，势必逃光。到了丰邑西面的湖沼地带，在泽中亭留宿时，他乘夜晚把农民都给放了，并对农民们说：你们都跑吧，我也从此逃亡去了。农民们都很感动，当场就有十多名表示愿跟刘邦一起逃亡。刘邦很高兴，带了他们连夜逃往亡、砀山区(今河北永城县东北)，准备伺机而动，据《史记》记载，在逃亡途中曾遇到一条大白蛇当道。刘邦毫不畏缩，冲上前去。—剑把蛇斩为两裁，后来便传说那白蛇是白帝之子，而刘邦是赤帝之子。这样说当然有利于争取民心，为刘邦后来称帝做舆论准备。
秦始皇死后，秦二世胡亥昏庸无道。权宦赵高当政，指鹿为马，腰斩李斯，毒杀公子扶苏和大将蒙恬，并且变本加厉地以严刑峻法和繁徭苛税施之于民，把黎民百姓逼上了死路。“赤衣塞路，群盗满山”，人心思乱，海内沸腾。陈胜、吴广首先发难，在大泽乡揭竿而起，起义的狂飙风靡一时。刘邦积极响应．在陈胜“张楚”政权建立后一个月，刘邦和萧何、曹参等人就轻取沛县，宣布起义，并被拥为首领，称沛公。
在起义的过程中，刘邦结识了张良，知人善任的刘邦一眼就看到了张良才华不凡，他赞扬张良说：“运筹策帷幄，决胜千里之外，子房(张良，字子房)功也!”于是任命张良为厩将，随同自己作战。
这时，陈胜、吴广的起义已成失败之势。鉴于形势需要，刘邦决定和项梁、项羽叔侄联合。项梁、项羽是楚国贵族的后裔，他们是在陈胜起义后两个月杀会稽郡守起义的。各路起义军在彭城召开军政会议，根据当时的形势决定兵分两路：一路以项羽、范增等率领北上，救被秦军攻击的赵地；一路由刘邦带领本部人马，加上陈胜余部、项梁的一部分散兵，西进关中，攻占咸阳。并约定先入咸阳者为王。
和秦军相比，刘邦的西征军力量很薄弱，尽管没遇到秦军主力抗击，但开始的几个月只能在山东、河南交界处徘徊。这时高阳有个饱读经书的儒生郦食其来献策。据说刘邦正在洗脚，连脚也没擦就来迎接。后来采纳了郦食其的建议，攻占了陈留，补充了兵力和粮草，为进军咸阳奠定了基础。刘邦封郦食其为广野君，并用他弟弟郦商为将，跟随自己转战南北.
刘邦的军队进了峣关，到了灞上（今陕西西安市东）。秦王子婴带着秦朝的大臣来投降了。子婴脖子上套着带子（表示请罪），手里拿着秦皇的玉玺、兵符和节杖，哈着腰等在路旁。
刘邦手下的将军主张把子婴杀了，但是刘邦说：“楚怀王派我攻咸阳，就因为相信我能待人宽厚；再说，人家已经投降，再杀他不好。”说完，他收了玉玺，把子婴交给将士看管起来。
这样，秦始皇建立起来的强大的王朝，仅仅维持了十五年，就在农民起义的浪潮中灭亡了。
刘邦的军队进了咸阳，将士们纷纷争着去找皇宫的仓库，各人都拣值钱的金银财宝拿，闹得乱哄哄的。只有萧何不希罕这些东西，他先跑到秦朝的丞相府，把有关户口、地图等文书档案都收了起来，保管好。
刘邦在将士陪同下，来到了豪华的阿房宫。他看见宫殿这么富丽，幔帐、摆设儿好看得叫人睁不开眼睛。还有许许多多的美丽的宫女。他在宫里呆了一会，心里迷迷糊糊的简直不想离开了。
这时候，他的部将樊哙（音ｋｕàｉ）闯了进来，说：“沛公要打天下，还是要当个富翁呀？这些奢侈华丽的东西，使秦朝亡了，您还要这些干么？还是赶快回到军营里去吧！”
刘邦不听他的话，说：“让我歇歇吧。”
恰巧张良也进来了，听到樊哙的话，对刘邦说：“俗话说：忠言逆耳利于行，良药苦口利于病。樊哙的话说得很对呀，希望您听从他的劝告。”
刘邦是一向很信任张良的，听了他的话，马上醒悟过来，吩咐将士封了仓库，带着将士仍旧回到灞上。
接着，刘邦召集了咸阳附近各县的父老，对他们说：“你们被秦朝的残酷的法令害苦了。今天，我跟诸位父老约定三条法令：第一，杀人的偿命；第二，打伤人的办罪；第三，偷盗的办罪。除了这三条，其他秦国的法律、禁令，一律废除。
父老百姓可以安居乐业，不必惊慌。”
刘邦还叫各县父老和原来秦国的官吏到咸阳附近的各县去宣布这三条法令。
百姓听到了刘邦的约法三章，高兴得了不得。大伙儿争先恐后地拿着牛肉、羊肉、酒和粮食来慰劳刘邦的将士，刘邦好言好语地劝他们把这些东西拿回去，他说：“粮仓里有的是粮食，不要再让你们费心了。”
打那时候起，刘邦的军队在关中的百姓中留下了好的印象，人们都巴不得刘邦能留在关中做王。