桓玄拖着桓胤，带着陶渊明，跟着人数位家仆，不顾刘清、仙期、范之等人的反对，就踏上衡山之旅。
又在巴陵，桓玄和这个姐夫碰面了，从外貌上来说，这姐夫还配不上自己的姐姐，他形貌算不上猥琐，但身材短小，比一下，差不多矮自己一个头。
一见面，桓玄就直接报出自己的名字，王裕之显然愣了一下，不过想想桓胤是他的从侄，就不觉得奇怪了。
妻弟是妻弟，南郡公是南郡公，同游是同游。不想见妻弟，是因为和妻子关系不和，不想见南郡公，是因为看不惯他的盛势与无情，但如果只是和自己同游，他还是欢迎的。
一番接触下来，桓玄虽然觉得此人的外貌偏下，但是行为端庄有大家之气，算是弥补不足了。问起他为何把姐姐搁在自己那里，他回答如果妻子想回来，自然就会回家。
谢安的女儿和王珣不和，谢就直接把女儿接回家，难道自己会容不下姐姐？但是在他眼里，面前的人难和王珣比肩，暗想着找个比他好的人，把姐姐再嫁出去算了。这事也先放下，至于桓胤，似乎早忘了自己邀这人出行的初衷了。
去衡山路上，桓玄又见他走路平平稳稳，坐下端端正正，开玩笑说道：“卿坐起端方，可谓‘弹棋八势’。”陶渊明和桓胤都忍不住笑了，这个桓玄比喻虽然有点不伦不类，但确实形象。
弹棋，博弈一种，开局前双方会先摆好棋子，然后相互攻击，为了让自己的棋更稳固，通常会摆得上窄下宽。
虽然这话有点夸他，但这比喻用的实在让人不开心，虽说不上记恨，但王裕之是更不喜欢这妻弟了。
这次衡山之旅，还算尽兴，游山赋诗，饮酒听乐，如此而已，当然，他也不忘记录一行人游山时所作的诗，并作一序为《南游衡山诗序》：
岁次降娄夹锺之初，理楫将游于衡岭，涉湘千里，林阜相属，清川穷澄映之流，涯涘无纤埃之秽，修途逾迈，未见其极，穷日所经，莫非奇趣，姑洗之旬，始暨于衡岳，于是假足轻舆，宵言载驰，轩涂三百，山径彻通，或垂柯跨谷，侠献交荫，或曲溪如塞，已绝复楷或乘步长岭，邈眺遥旷，或憩舆素石，映濯水湄，所以欣然奔悦，求路忘疲者，触事而至也。仰赡翠标，邈尔天际，身凌太清，独交霞景，周览既毕，顿策岩阿，管弦并奏，清徵再响，思古永神，游气未言。