老天爷很多时候都是公平的，他曾经把曹操拉回到了和刘备一样的起，但也赐予了刘备和曹操一样的考验。
兴平元年（194）在曹操讨伐徐州之际，吕布突袭夺取了兖州差将曹操逼入绝境，两年后同样在刘备和袁术相持之际，吕布突袭了下邳，夺取了刘备的根据之地，也将刘备逼入了绝境。
但很可惜的是皇叔那时并没有自己的荀彧和程昱，他本人也不是曹操，张飞也不是夏侯惇。
刘备在讨伐袁术之时让张飞留守下邳，但张飞很快就和陶谦的原部下曹豹以及丹阳兵闹翻了。这很可能是由于以前曹豹和丹阳兵都是陶谦的亲信，而现在换了刘备掌权，对于他们的影响很大，在刘备走后，张飞可能又处理不当，导致矛盾激化，使得曹豹和丹阳兵都有了反意，并且最终还采取了行动，邀请吕布并且与张飞在城内爆发了冲突。
《英雄志》上记载那时恰巧吕布已经被袁术所邀进军下邳，刘备的中郎将丹杨人许耽派司马章诳前来迎接吕布，并向吕布透露了张飞和曹豹相争，张飞杀曹豹（《三国志》未记录），下邳城内大乱以及丹杨兵准备迎接吕布的消息，吕布得知之后加快进军，于当日早晨到达下邳。
吕布到达下邳之后，丹阳兵立刻打开城门将吕布接入，吕布坐在城门上，步兵骑兵一起放火，大破张飞的部队，夺取了刘备军的物资，还俘虏刘备的妻妾儿女及其部曲的家眷。
在得知吕布夺取下邳的消息后，刘备的军心遭到了很大的打击，刘备一开始准备回转夺回下邳，但行军到一半，军队就自行溃散了，不得已刘备收起余军，先东取广陵，但因为军心溃散惨败给了袁术，刘备只好转而驻扎到海西县。
那时麋竺将妹妹嫁给刘备，又将两千名下人及金银货帛资助刘备的军队，使面对危难的刘备重新振作起来。
由于刘备军的家眷被吕布所抓，又和袁术结怨，刘备不得已向吕布求和请降，那时吕布也因为袁术没有实现诺言继续提供粮草，非常的恼火，于是就准备了车马迎接刘备，归还了刘备的妻子家眷，让刘备担任豫州刺史，派他驻守沛。
吕布则自称为徐州牧，就这样刘备的徐州被吕布所夺。
但刘备对于吕布而言仍然是一个重大的威胁，毕竟刘备是曾经的徐州之主，而吕布不过是趁主人不在家偷了主人房子的贼。
这下吕布暂时不找刘备的岔子了，但袁术依然没有放过刘备。
袁术准备夺取徐州，但吕布强大，刘备弱，而且袁术也看不起刘备，于是袁术先从刘备下手，很快袁术就派大将纪灵带领步骑共三万多人马征讨刘备,刘备向吕布求援。
这时吕布手下将领:“将军您一直想除掉刘备,今天正好借袁术之手干掉他。”
吕布:“不行,袁术如果占据了沛,就会联合北面太山一带的部队,我们就会被袁术所包围,我不能不去救刘备啊。”
于是吕布领步兵千人、骑兵二百,飞速赶往沛。纪灵等人听吕布前来援救刘备,只好收兵,不敢轻举妄动。吕布在离沛西南一里的地方扎下营寨,派卫士去请纪灵等将领,纪灵等人也请吕布一起饮酒作乐。
吕布对纪灵等人:“玄德,是我吕布的弟弟。如今他被诸位所围,我特意赶来救他。我吕布生性不爱看别人互相争斗,只喜欢替别人解除纷争。”
吕布命门候在营门中竖起一支戟,:“诸位看我射戟上的支,如一发射中,诸君当立即停止进攻,离开这里,如射不中,那你们就留下与刘备决一死战。”
他引弓向戟射出一箭,正好中了支。诸将大为震惊,夸赞:“将军您真是有天神般的威力呀!”第二天,吕布又与诸将欢会宴饮,然后各自回兵，刘备之围遂解。
但这并不代表吕布和刘备的关系真的好了。
刘备在沛驻扎下来之后，实力恢复的很快，作为原徐州之主，刘备手下很快就聚集了一万多人的军队，这使得吕布十分的不安和厌恶，于是吕布亲自率兵来讨伐刘备，与其在沛交战，刘备不敌，逃往许昌依附曹操。
刘备投靠曹操后，曹操集团内部对于如何对待刘备的看法不一。
程昱就对曹操劝道：“刘备有英雄之志，如果不趁早收拾掉他，未来他一定会成为我方的大患。”
但郭嘉不这么看，他到：“的确如此。但曹公举剑起义兵，为百姓除暴，推出诚信用以招揽英雄俊杰，恐怕仍未做到。现今刘备有英雄名声，他在穷途末路时投靠我们而我们将他杀害，这是杀害贤士的恶名，那智者、将士都会自疑，再次想选择谁作主人，那曹公要和谁平定天下？所以除掉一人之患，而危害到四海的声望，安危的选择，不可以不察觉！”（注1）
曹操是赞同郭嘉观的，到：“如今正是收复天下英雄之时，杀一人而失天下人的信任，不能这么做。”
于是他不仅不对刘备动手，反而重用刘备，想让刘备对自己心服，任命刘备为豫州牧，刘备决定回到沛收集失散的士卒,曹操资助军粮,增补兵马,派他东进牵制吕布。
而历史上陶谦、吕布、曹操均任命刘备做过豫州刺史或豫州牧，所以皇叔又被别人称为“刘豫州”。
杨奉、韩暹投靠袁术之后又转而投靠吕布，他们在徐州、扬州一带抄略为寇，并在吕布授意下前往抢掠刘备军的军资，最终被刘备所败。（注）
历史上杨奉最终被刘备诱杀，韩暹也为杼秋屯帅张宣所杀。
建安三年（198）吕布派人去盟友张杨的河内郡买马，但被刘备的士兵夺走。为了防止刘备的进一步做大，吕布于是派遣中郎将高顺、北地太守张辽等人进攻刘备。
曹操也派夏侯惇去支援，被高顺打败，沛城最终被吕布军攻破，皇叔的妻子儿女又被高顺所掳并送交吕布，刘备勉强逃走。
后来曹操决定亲自讨伐吕布，刘备随其一同去往徐州，这一次吕布和刘备、曹操的恩怨即将了结。
注1：《傅子》和《魏书》在此记载冲突，而《魏书》是曹魏的官方历史材料，这里也没有立场的问题，所以我个人以《魏书》为主，《傅子》为辅。
注：杨奉、韩暹与刘备交手的时间在《三国志》和《后汉书》上略有冲突，但均为刘备所败。