香港沦陷后不久，日本当局命令对汇丰银行展开清理，并勒令其职员协助。接收清理的是横滨正金银行，他们要求汇丰职员交出全部账目清单。祁礼宾和较高级的职员被日本方面安排在一家名为“升华旅馆”的客栈里。清理工作一直进行到1943年。在他们住在这家旅馆的18个月中，其余职员则被关在5英里外港岛南面的赤柱集中营内。

清理开始后，日本人在汇丰银行金库中发现一批约值亿港元尚未发行的钞票。祁礼宾等被胁迫在这些未经签字的钞票上签字画押。一个多亿港元的钞票一经签字，日本人立即将它们发行。这批“迫签纸币”后来成为汇丰银行战后所必须面对的一个问题。

祁礼宾和他的高级助手们被迫帮助日本人一道清理有关的银行事务。然而，他们并不都甘于忍受，两名高级职员芬尼克和莫里逊，便在1942年10月中旬设法逃出。

莫里逊在后来撰写的一篇历险记中，详细叙述了他们出逃的经过：1942年10月18日晚6点半，他们设法避开警卫，走出升华旅馆，乘电车到达北角。在那里，一艘正在等候的船带他们到达对岸的九龙，在一个罗姓中国军人的引导下，启程前往蒋介石政府所辖地区。在中国游击队的协助下，他们通过日占区，直至进入桂林。在那里，他们收到了已获悉他们出逃消息的摩尔斯的贺电。之后，他们从桂林飞往重庆，再从那里飞越驼峰到达印度。4个月后，即1943年2月18日，摩尔斯写信说，从香港逃出的芬尼克和莫里逊到达伦敦，并已告诉他有关被拘留的香港职工的一切情况。

在升华旅馆的汇丰银行高级职员们还设法弄到了一笔数目不小的钱。因为大部分职员及其家属被拘留在赤柱集中营内，无法与外界接触。这笔钱正好可以帮助他们补充生活必需品。时任汇丰香港出纳主任的爱德华（）后来回忆说：“一部分相当可观的钱是从我们的中国朋友们那里募来的。我相信总数约有港币200万元。”

如何偷偷把钱送进赤柱集中营是一个问题，因为要送达的东西必须向日本人申报。不过，他们总会想到办法。就这样，祁礼宾和他的助手们时时接济被关押在赤柱集中营内的汇丰职员及其家属。

不幸的是，1943年2月，日本人终于发现了这些情况。几天后，当祁礼宾得知日本人已就他们如何弄到这笔钱正对汇丰职员塔尔博特医生展开侦询时，作为一行之长，他想最好的办法是自己去找外事部的头目小田解释。

2月23日，在另一职员史去非的陪同下，祁礼宾见到了小田。他对小田说，一些中国的同情者和几个美国人给了他这笔钱，于是他请塔尔博特医生去将钱分给汇丰银行的被拘留者。史去非事后写道：小田在训了我们一顿之后说，这是一个严重事件。

3月17日，祁礼宾和史去非被带到宪兵司令部接受盘问，直至3月24日。之后，他们被关进牢房。20天后，被拉到与赤柱集中营邻近的赤柱监狱，等候审判。史去非写道：1943年6月30日，我们“（早晨）八时从囚监中提出，给吃了一碗米饭，用手铐铐在一起，由日本和印度卫兵押送，用一辆装盖小卡车载到香港的最高法院” 。

判决书下来了，他们被判处3个月徒刑，并被派去做花匠。从来没有干过粗活、过着如此食不果腹的生活，更不用说心灵所遭受的折磨，62岁的祁礼宾终于支撑不住，于8月21日因病去世。一年后，汇丰银行候任继位人、在狱中的汇丰银行第二把手艾文逊也因营养不良死去。