1946 年8 月的一天，故宫博物院院长马衡找到王世襄说，接到南京清损会来信，准备派人去日本，交涉赔偿文物。原计划派博学精鉴的老专家徐森玉先生去，但考虑到他年老体弱，加上不懂外文，必须另带翻译，这样便须加大编制。因此打算派王世襄去，问他意下如何。

这是个突如其来的机会。王世襄考虑，如果去日本，真能弄些文物回来，他自然是愿意去的，但手头故宫的工作正待展开，许多属于基本建设工作如分类编目、建立库房等等，都刚刚开始，这些工作他不愿扔下。对于王世襄的顾虑，马衡说：我也有同样的想法，去日本工作是否顺利，现在毫无把握，我看去那里如有可为则多待些时日，否则不如早些回来搞故宫的工作。

在与马衡统一了想法之后，王世襄就开始着手处理手头的工作，为日本之行做准备。当时赴日需要由北平转到上海。此后不久，马衡接到清损会的来信，说教育部决定于11 月初在南京举办一个所谓的“胜利后第一届文物展览”，要故宫选新入藏的文物若干件参加展出。马衡和故宫人员及唐兰先生等商量了一下，决定从杨铜陈列室中选些精品送去展览。而刚好要从上海方向去往日本，所以全程负责杨铜清收的王世襄成为运送这批展品去往南京的最佳人选。

展览为期一周，这是王世襄第一次进行展会准备工作，忙碌而琐碎的工作却也让他兴奋不已，因为可以让那些躲在柜子里的珍贵文物拿出来与普通人分享，同时也有机会看到更多的其他博物馆和私人的珍藏文物。展览期间，傅斯年、李济等来参观，盛赞其中的宴乐渔猎壶，认为花纹真实地反映了战国时的生活，是其他青铜器所没有的。

这是在重庆一面之缘后王世襄与傅斯年第一次碰面。王世襄还记得傅先生对自己说过的两句话，再见到傅先生，他有些紧张，却没想到傅斯年认出了他。与王世襄同行的马衡先生向傅斯年简单介绍了王世襄之前在杨铜和郭瓷的清收中所做的工作，以及他即将赴日进行文物清收的事情。在听了马衡先生的描述后，傅斯年很是意外：

“你去日本工作，追索文物应当和在平津地区一样，要非常非常aggressive。

“那年在重庆你来见我，我不知道你还能办事，如果知道，我就把你留下来了。”

听到傅斯年的赞许，王世襄心里有些五味俱陈，他暗暗有些骄傲自己能够让傅先生印象深刻。但他心里也明白，傅先生所谓的留下自己，不过是派他做一些办公室总务处的跑腿联系工作，而不是学术研究。想及此，他更加坚定了继续手头文物清收工作的决心。展览闭幕后，杭立武召开了一次清损会的会议，除了常规的年度总结，更重要的是讨论了去日本开展清理文物工作的步骤及方法。虽然之前与马衡有过想法上的沟通，但对于自己日本之行的具体工作内容，王世襄在此次会议上才有了深刻的了解。他了解到，除了与日本政府方面交涉关于文物赔偿的问题外，此行王世襄还肩负着一个重要的使命--将南京中央图书馆的一批善本书运回国内。

抗日战争时期，南京中央图书馆曾将一批善本书运到香港，在那里编目造册，加盖馆章，然后送去美国，寄存在国会图书馆。1941 年底，日寇侵占香港，将这批善本书全部劫往日本。日寇投降后，无法抵赖劫夺这批书的罪责，经中国驻日代表团清点接收，原箱封好，10 箱存在代表团的库房外，其余107 箱则暂存在东京上野公园内。

肩负着重要的使命，王世襄只身飞往羽田机场，开始了在日本的文物清理工作。到东京不久，有两架中央航空公司专机送代表团的人员及家属到东京来，回程无可装载。王世襄心中惦记着来时杭立武嘱咐的两件事情，灵机一动，提议代表团将存在代表团的10 箱善本书顺利运回上海。紧接着王世襄又根据之前国内整理出来的文物材料向日本政府提出要求，交涉偿还余下的古籍。这是一项繁杂而琐碎的工作，由于涉及的文物多为抗日战争期间流失海外，使得损失文物的材料搜集工作非常困难，而想要通过政治渠道寻求回收文物，则必须按照联合国的要求赔偿文物条款规定来准备材料。这就需要列举损失文物的名称、年代、形状、尺寸、重量等，最好附有照片；而对于劫夺的情况，则也要求详细列出原有人、原在何处、何时被劫夺等。更为苛刻的是，如果中国方面认为是被日本所劫夺，更需要提供劫夺部队的番号。

这简直是一个不可能完成的任务。在那个战火纷飞的年代，国破家亡之际，又有谁能留下完整的文物损失记载材料呢？或者说又有谁关心那些千百年前的物件到底流失何处呢？而要求写明部队番号，这更是不可能的事，因为番号向来都是保密的。年轻气盛的王世襄怒不可遏，这简直是霸王条款。“它只对日本有利，对中国不利，而且已经到了偏袒庇护的程度。”