送别辛景、皇甫敷、桓胤和陶渊明，桓玄心里空落落的，时时派人打探消息。回到家中就逗弄儿女。他已经请了先生教简儿和昙亨诗书，这两个孩子差距比较大，昙亨才学出众，桓玄一问，他能答十，而简儿，结结巴巴半天，也说不出来，桓玄拿她没办法，干脆让昙亨指导她。这样一来，简儿的学识就上去了。
不过，当前的形势是不容许桓玄整天悠哉。杨佺期也开始招兵买马，训练兵卒，名义上也是援助洛阳，但洛阳已经丢失了，夺回来不可能，这样做明显是针对桓玄的。对于杨的举动，桓玄倒不慌乱，这天迟早会来的。
以佺期的实力，不足与自己抗衡，他一定会联合殷仲堪，可是殷的反应让桓玄感到温暖。殷还是苦心劝阻杨佺期，主要是他还是不信任佺期，让自己的从弟殷遹屯兵北塞遏制他的进军。
对殷的行为，杨火冒三丈，又猜不到他的心思，不好两边都得罪，一声叹息，只得罢手。
但是，桓玄却等不及了，要趁着这两个人达成一致意见前消灭他们，否则，被抹掉的只能是自己。
这次，桓玄先派兵把杨佺期的堂弟，时任江夏相的杨孜敬劫持了，当然，表面上来看，不是劫持，是亲自请他做自己的咨议参军。这样做的目的也简单，一是要夺取那地方的兵力，再一个，就是让自己以后西下的路变得顺畅。
桓玄这一举动其实是很招摇明显，连范之也不同意，但是，这主意是羊孚出的，羊认为，既然殷会帮助自己遏制佺期，那桓玄可以更进一步挑衅，而且，为了谋划荆州，这一步必不可少。
没等那二人反应过来，桓玄就开始下一步，传信给殷仲堪，内容为：佺期受国恩而弃山陵，宜共罪之。今亲率戎旅，迳造金墉，若见无二，可收杨广杀之；如其不尔，便当率兵入江。
主要意思就是杨佺期有罪，我们应当讨伐，如果我们的意见一致，就请你亲自把杨广杀了，如果不这样，那我只好自己进江了。
这个罪说起来也真是欲加之罪，以桓玄的才气，给杨戴上的罪名就是放着洛阳不管，洛阳城里可有先帝的陵寝，也就是坟墓，当初，桓温收复洛阳后，第一件事就是重修保护西晋帝王的陵寝。
这次洛阳的失守，桓玄虽然明白这事必然的事，但多多少少都有些怪罪杨佺期，当然，还有恨自己能力不济，不能夺回洛阳。
接到桓玄的信，本想保持双方平衡的殷仲堪明白再也不能阻止他了，只能回复道：“君自沔而行，不得一人入江也。”
即使到这种关头，殷仲堪还是有自己的底气，桓玄又放慢了自己的步伐，思考该如何和殷仲堪兵刃相见。
自己和殷仲堪一起在荆州呆了几年，他做他的官衔老大，他做他的世家土老大，前几年，还有一个人，那个妙笔绘天下的人，又想起三人工作了语，两人清谈，一人清茶在旁。
那位画家，是不是到哪处登仙了？她在简儿出世后又飘然而去。
正想着此人，突然门人来报，说有人来找阿玄，这门吏应该是新来的，说话也无忌讳。但此刻他也顾不了这么多，快走出门迎接。
那人还是如此，衣冠不整，桓玄迎他进门，吩咐备宴，恺之制止住，说自己就来随便转转，顺便看看小清儿和小阿玄，桓玄笑说虎头叔叔偏心。
桓玄依旧叫人备下家宴，请出自己的两个女儿，简儿和洁儿，还有玉娃娃升儿，还跟着昙亨，他现在已经很自然地成为这个家庭的一员。
孩子们都在好奇为什么父亲和母亲会如此看重这位怪爷爷，特别是简儿，抓抓恺之的衣服，又跳上去摸摸他的脸，问道：“父亲，这位爷爷有什么特别吗？难道他是仙人？”
“虎头叔叔在父亲的眼里就是仙人了，神龙见首不见尾的。”桓玄回答道。
顾恺之笑着解释道：“阿玄太不理解了，我只是自由惯了。”
“怪爷爷主要是做什么的？”简儿问道。
“你猜？”顾恺之反问。
“算卦、炼丹、酿酒……”简儿列了一大堆不怎么正经的职业，刘清都忍不住笑了，却问向昙亨：“昙儿有什么线索吗？”
昙亨笑着答道：“能让桓叔叔如此敬重，又为虎头，莫不是画技天下独绝的顾长康先生？”
桓玄夸道：“昙儿果然聪慧。”
恺之细看这男孩，对他的身世也猜到七八分，问道：“你也喜欢我的画吗？“男孩点点头。
“拜我为师如何？”恺之问道，目光看向桓玄。
桓玄说道：“如果虎头叔叔愿意留在这里，我当然乐意了，这孩子，我可不舍得让他跟着叔叔奔波。”
恺之笑笑，不答话，洁儿乖巧，一直坐在旁边看着，恺之说道：“这孩子最有灵气了。”灵气？桓玄对这个女儿的关注比较少，经恺之这么一说，好像这女儿真独特了许多。
桓玄又向他炫耀自己的儿子，顾恺之看着玉般可爱的小孩，忍不住抱起他，说道：“这孩子比你小时候还可爱。”桓玄不以为然，说道：“都过去这么久，虎头叔叔肯定忘记我的样子了。”
恺之对人面貌向来敏感，更何况是桓玄，自己都是半百之人，懒得和他计较，也就要告辞。桓玄非要留住他，说道：“虎头叔叔好不容易见一次，多留几日。”恺之看他真切，也就答应了。
是夜，顾恺之月下吟咏，桓玄坐于亭下，恺之诵一句，他就叫一句好。<