1931年,
日军发动侵华战争,再度占领青岛。
这座耗资巨大、坚如磐石般的官邸,似乎没有给德国历任总督带来多少好运。首任总督只住了三年便调回国去了,继任的是海军出身的瓦尔德克。瓦尔德克也住了三年,碰上第一次世界大战爆发,德国战败,日本乘机抢占了这座官邸,瓦尔德克当了俘虏。
日本有两次把这座官邸占为己有。头一次是从1914年至1922年,几任日军长官相继住在这里。主入口前的雨篷,就是日本人增建的。1922年,北洋政府从日本手中收回这座建筑的主权,此地又变为北洋政府以及后来南京政府的胶澳督办的住所。其中,曾任海军总长的毕庶澄曾携同妻妾老小住进这里。后来毕庶澄在北伐军面前当了逃兵,跑回青岛后就被枪决了。他的四姨太也从官邸的阳台上跳楼自尽。再往后,张宗昌也在此遭到暗杀。一时间,官邸在人们心目中成了一所凶宅。
1931年,日军发动侵华战争,再度占领青岛。这座官邸又成为日军大本营。