刘备背着糜芳来见孙观，自然没安什么好心，他可没有忘记陈登暗中交待的事情，那就是想办法消耗掉糜家的力量。
如今兰陵城内有孙观率领的一万泰山兵，还有糜芳率领的五千糜家私兵，如果两伙势力齐心合力抵抗曹军，虽然未必能赢，但却能为臧霸和糜家挣得徐州人心。
刘备三兄弟在阴平和氶县连吃败仗，根本就没有实现当初定下的坚守半月的目标，如果曹军受阻于第二道防线以西，岂不是显得他刘备无能？
孙观受了刘备的蛊惑，询问刘备如何应对，刘备便一脸担忧地说：“如今兰陵城内可不止孙将军一路兵马，若是有人怀疑将军是在等候曹军到来，然后作为内应，将兰陵城献于曹操，只怕到时候将军腹背受敌，可就危矣！如今之计，将军最好赶紧带上本部兵马撤回开阳，如此一来，既不会背上投靠曹军的骂名，又远离了危险，还不用与友军发生冲突。”
“可是，吾受臧将军所托，前来兰陵防守，若是不战而走，岂不有损将军威名？”孙观有些犹豫地说。
刘备见孙观已经动摇，接着说道：“将军为人忠诚，令刘某十分佩服！既然如此，将军不妨设下宴席，请糜子方过来把话说开，免得两军主将相互猜忌，影响联合抗曹的大局！”
孙观觉得刘备这个建议有道理，便让手下摆好宴席，然后派人前去邀请糜芳。
刘备来见孙观时，另外一人正好来了糜芳的营帐，此人正是刘备手下简雍。
糜芳见来人是刘备的手下，当时心里就十分警惕，他可是牢记着刘和的提醒，对于刘备这一路人马个个提防，不敢有半分的轻信。
简雍对糜芳说：“将军可曾听到城内的风言风语？”
糜芳摇头，装作不知。
简雍于是压低嗓门。小声说道：“如今城内都在传闻曹孟德已经派人与臧霸秘密会面，只怕孙观也靠不住啊！”
糜芳露出惊慌的神色，急忙问简雍：“竟有此事？若是孙观欲投曹军，吾军岂不危哉？”
简雍点头，提醒糜芳说：“因此将军需要早做打算，切莫被人蒙在鼓里，等到大难临头尚不自知啊！”
“宪和先生可有计策教我？”
“有道是先下手为强，后下手遭殃，如今之计，子方不如想办法扣住孙观和尹礼二人。夺其兵权。将一万泰山兵拢入麾下。等到曹军攻来时，方可一战！”
“如何才能扣住孙观和尹礼？”
“可以摆下宴席，邀其前来共商抗曹之事……”
糜芳连连点头，等到简雍离开之后。赶紧将糜家二管事喊进来，把方才简雍对自己说过的那些话复述了一遍。
二管家听完之后，急忙阻止糜芳说道：“千万不可轻信简雍此话！城内谣言四起，必是有心之人传播，目的便是要乱了我们的阵脚，那孙观和尹礼两人跟随臧霸多年，岂是如此容易便被控制得住？如果冒然行事，不仅夺不了他们的兵权，反倒会造成两军内讧和冲突！”
糜芳有些烦躁地问道：“哪我们如今该怎么办？刘备守阴平防线。不到十日便弃城而逃，如今我们与孙观又是貌合神离，等到曹军攻来时，如何应对？”
二管家虽然精于管理糜家内部事务，但对于如何行军打仗也是门外汉。琢磨了半天，勉强说道：“实在不行，咱们还是带着族内的家兵撤回郯城吧！反正后面还有曹豹驻守的第三道防线，咱们可不能把糜家这些私兵交待在兰陵城下。”
糜芳想来想去，也是想不出更好的对策，正在焦虑时，孙观派来邀请糜芳前去赴宴的人却到了。
糜芳联想刚才简雍给自己出的主意，心里咯噔一下，急忙让二管家对来人推辞说自己染了风寒，身体不适，无法前去赴宴。等到孙观派来的人离开之后，糜芳对二管家说：“此地不宜久留，立即整顿我们的人马，连夜离开兰陵！”
却说孙观派出的人返回营内，向孙观报告说糜芳染了风寒，无法前来赴宴，孙观听了之后心里一冷，知道这是糜芳对自己起了戒心。孙观于是派人盯着糜芳的动静，严防糜芳在自己身后做什么小动作。
刘备此时已经离开孙观营帐，正躲在自己的住处与简雍小声交换消息。
刘备问简雍：“糜芳可曾将你说的话听进去？”
简雍回答说：“已经听了进去，正在琢磨着如何对付孙观和尹礼。”
“好，便要他们两路人马相互猜忌，最好是直接在城内动手，这样我们就有机可趁！”
当日夜里，孙观忽然接到报告，说糜芳带着人马不辞而别，从兰陵城的东门撤走了。孙观大怒，派兵来到东门堵截糜芳，两军于是在出城的地方对峙了起来。
孙观问糜芳：“当初约好的两路兵马共抗曹军，如今曹军未到，尔等为何仓惶离去？”
糜芳回答：“城中有小人四处散布谣言，两军已生嫌隙，若是糜家私兵再留在兰陵，只怕不等曹军来攻，便要被将军的兵马先给解决了！”
孙观被糜芳这话憋的半天说不出话来，一怒之下转身回营，然后喊来了尹礼，两人合计了一番，也是立即率军从北门离开，竟然弃了兰陵返回开阳……
城内本来等着看好戏的刘备，这下麻爪了，急忙带着几个手下和数百部曲连夜离开兰陵，直奔郯城方向而走。
兰陵城内本来有一万五千大军驻守，结果一夜之间走了个干净，城中百姓顿时惊慌失措，急忙舍家