葡萄牙见正规作战无法取胜，便开始与倭寇合流做起了海盗生意。在国内走私集团的带领下，葡萄牙人开始在福建的海沧、月港，浙江的双屿等地与倭寇及国内走私集团合流。嘉靖五年（1526年）福建人邓獠越狱后，便开始勾结葡萄牙人前往双屿，其后邓氏兄弟也加入这一集团。

在双屿岛上，葡萄牙有一千二百多名殖民军以及属国的一千八百多名士兵。彼时，葡萄牙人的贸易总额大多在300万葡萄牙元以上。在双屿岛上，葡萄牙还建立了自己的殖民政府。由一名稽核、一名主管殡葬和收养孤儿的官员、几名警察、一名市政厅书记员、四名公证员等组成。另外，还建造了两所医院、一座慈善堂。

1543年，葡萄牙人在王直（五峰船主）的率领下前往日本，正式与倭寇合流。令人吃惊的是，葡萄牙人占领双屿岛这件事情，中央政府竟然长期不知道。究其原因，主要是一些沿海居民因为海禁难以生存，更无钱缴纳税款。16世纪以后，中国的税款大多以白银结算。而中国人最缺的就是白银，因为葡萄牙与日本交好，日本又是产银大国，所以，葡萄牙人得到了大量的日本白银。而当地官吏也因为受贿，便上下联手隐瞒了这件事。

随着葡萄牙人的势力愈加强大，殖民者的本性愈加显露。某些葡萄牙人开始奸淫妇女、抢夺人口，最终消息传到了皇帝耳中。皇帝立刻命令福建水师将国内外的所有商人全部驱逐出宁波，并任命朱纨为提督剿匪，最终将海盗、走私犯赶出了双屿岛。

被朱纨打怕了的葡萄牙学乖了：作为乡级地方官的葡萄牙人

给葡萄牙国王的一封信

在朱纨捣毁双屿岛，并进行了走马溪之战后，葡萄牙人已经不敢再在福建、浙江活动。他们被朱纨打怕了，葡萄牙舰队再次回到广州，希望通过官方渠道重新开启通商事宜。1553年到1554年经过数次谈判，苏萨认为可以正式向葡萄牙国王提出建议了。

他写道：国王陛下，为了与中国人交往我们应该遵从他们国家的法律。因为过去的不愉快，为了改变中国人过往对于葡萄牙人的印象，应以葡萄牙国名替换掉佛郎机国名。双方必须要实行和平贸易。广东的海军上将给我们确定的缴税额度是20%。经过我的据理力争，海军上将终于同意收取10%的关税。另外，我提醒您，上一次中葡交往失败的原因，错误不在于中国方面，而是我们自己根本没有注意到等级，显得我们非常的无礼。因此，屡次求见皇帝不准。这次我的运气太好了，希望您千万不要错过这次机会。照章纳税、和平贸易、换个国名吧。