原来是这话，谁在辩论时列举一二三四五条，没有只是凑数的几条呢？懂天文算学的人他一个也不认识，只是推想大清朝地大物博，不可能没有这种人才。虽然作为皇帝的师傅，承认自己的臆测很难为情，但为了辞去这让人尴尬的任命，倭仁不得不递第二通辞任折，承认有关天文算学人才的话“系推测而已”，并不是囊中已经有这类人才。
太后听得怒气冲冲——这当然是装出来的，辩论的时候放嘴炮是文人最擅长的了，谁还能不知道这个道理，可太后偏偏勃然大怒，对着军机处的人说道，：“太后和皇帝面前，话能够随便说吗？反对别人的时候，说大清有大把天文算学人才；到自己办事了，就说‘系推测而已’。仍旧不准辞任！”
“解铃还需系铃人”，倭仁没办法，只好又去拜会洋务头子、自己以前绝对不会交往的恭亲王。等到下了轿，倭仁抬腿踏进恭王府的花厅，恭亲王已经迎向前来。一位是皇帝的师傅，一位是本朝的亲王，彼此鞠躬作揖，没完没了。恰好曹毓英也在，就一起作陪，把倭仁迎到了花厅。
倭仁撰对联、写奏折虽然厉害，和人叙话却非所长，要说的话本来也有点难于启齿。所以憋着气，红着脸，流着汗——刚好可以把原因推在秋老虎头上，倭仁期期艾艾地说明来意道：“同文馆之事，实非我所欲，还请议政王多多美言，请太后收回成命。”
恭亲王见到倭仁的窘迫模样，笑而不语，早知如此，何必当初？
曹毓英挥着扇子，对着倭仁笑道，“老大人未免太过强求了，议政王虽然贵为王爷，可也得听太后、皇上的意思不是？如今这旨意都已经下了，再改岂不是朝令夕改，这样朝廷的脸面，太后的威信，放哪里呢？”
听到曹毓英半带讽刺的话，倭仁涨红了脸，却也不好多说什么，恭亲王见到倭仁的样子，毕竟有些不忍，笑着说道：
“老大人，如今木已成舟，还是先委屈委屈，暂时做几个月，然后以老大人同时在南书房当值，不胜繁剧，到时请辞吧？”
一听得恭亲王要他“先做几个月”，倭仁气得老眼昏花，立即就准备拂袖而去。“饿死事小，失节事大”，他身为皇帝师傅，同文馆的馆长就是只当一天，也就好比大闺女出嫁后在夫家过了一夜，就算失节了。难道恭亲王就不明白吗？
只是他刚刚站起身来，只觉一阵晕眩，立即又跌坐在椅子上。恭亲王一见不妙，急忙过来扶持，一面叫仆人端茶送水，打扇揉肩，倭仁的气色才渐渐缓过来。
恭亲王就此打住同文馆的话题，只管嘘寒问暖，传医唤药，皇帝的授业师傅如果因为同文馆的事情，气死在自己家里，天下读书人的口水，只怕都能汇成鉴园中假山上源源流出的喷泉了。
虽然恭亲王送他登轿的礼节完美无暇，倭仁知道，他不能求得更多。这道任命就好似鼻涕虫似的粘着他不放，又好似贴在他面子上的一块显眼膏药，难以时，想想自己一心为皇上为朝廷，竟然落得个如此尴尬的境地，一时间忍不住涕泪滂沱。
年轻的皇帝被惊呆了，他从来没有见过倭仁师傅如此失态，也没有见过一个留银白色长须的先生哭时，泪水竟然不从脸颊滑落，而是一直滴到长须的末端，就好象另一位师傅翁同和讲过的李白诗句：“飞流直下三千尺，疑是银河落九天。”皇帝当然知道师傅为何事落泪，晚膳时就把这件事情讲给太后听，同时替师傅求情，请求免去师傅同文馆馆长的任命。
“咳，这些人，说起来天花乱坠，要做事情了，就推三阻四，朝廷还能指望些什么人？”慈禧不屑说。
“倭师傅原本不认得会天文算学的人。”皇帝替师傅辩解道。
“瞧瞧，身为皇帝的师傅，不知道的事情也乱说，怎么能教皇帝立言立行？这件事情不能就此了了，要让他多检讨自己几天。”太后笑着说道，“你们那些师傅，我瞧着就没一个好的，李棠阶是道德君子，在军机处倒是也能做些事儿，这个倭仁，实在可恼，就动动嘴，眼高手低，当差倒是不会了！皇帝你也别管了，他当着左都御史，提意见是应该的，只是话说的太满了，倒是叫人轻易反驳，丢了面子，看了笑话。”