奕訢同时向皇帝建议说，既然倭仁信誓旦旦保证“中国天下之大不患无才，必有精通天文算学者”，那么何不让该大员立即“酌保数员，择地另设一馆，与同文馆互相砥砺，共收实效”呢？

大约，慈禧太后也看到了倭仁之流不过就是言辞上的巨人而已，因此极为赞同奕訢的这个巧妙主意，明发懿旨要求倭仁“另行择地设馆”，且立即保举他所说的精通天文、算学的人才。同时，更于是年阳历4月25日正式任命倭仁在总理衙门上行走，直接参与洋务事宜。

奕訢的这一手，令只知道“平日袖手谈心性”的冬烘先生倭仁遇到了空前的大麻烦。他一边申辩开脱，请求“不必另行设馆”；一边赶紧声明：“意中并无其人，不敢妄保。”

对于慈禧太后和奕訢等奉送给他的这顶总理衙门上行走的大帽子，倭仁更是不敢接下，一再上疏坚辞。但却未获太后和皇帝的批准。被逼无奈的倭仁只好在上任的途中故意坠马，然后以“足疾”的理由，请求开去一切职务。朝廷旋即批准了他的要求，但却依然给他保留了一个没有多少实际意义的大学士的虚衔。

如果说，在开设同文馆这件事上坚决支持奕訢等开明派的慈禧皇太后对于张盛藻和倭仁等人还算比较客气的话。那么，随着反对开设同文馆的一派调门的不断升高，慈禧太后所把持的朝廷对于这些人的态度也转而趋于强硬。

同治六年五月二十二日（1867年6月23日），候选直隶州知州杨廷熙以“久旱不雨，天象示警，人言浮动”为由，通过左都御史灵桂代呈奏折，罗织罪状十条，污蔑奕訢等人为“必欲溃夏夷之防，为乱阶之倡”的乱臣贼子，并请求撤销同文馆，“以弭天变而顺人心，杜乱萌而端风教”。

杨廷熙的这道奏折进一步激化了对立双方的矛盾。奕訢等人以及总理衙门各大臣甚而以全体辞职相抗争。这意味着两宫皇太后到了不能不对此一问题做出最后决定的地步。

杨折上奏后的第七天（6月30日），朝廷明发了一道措辞十分严厉的上谕。该份上谕在对奕訢等诸大臣进行安抚的同时，严词申斥了杨廷熙，说他“呶呶数千言，不过摭拾陈言，甚属荒谬，情尤可恶”。