1927年一个秋风萧瑟的雨天，辜鸿铭带着惆怅和遗憾，孤零零回到故国，当时送行的只有日本友人萨摩雄次一人。他回国后给萨寄过一次照片，上书：“年来检点人间事，惟有春风不世情。”失意与感慨溢于言表。

回到中国后，不久妻子淑姑去世。日本人推荐他做张作霖大帅顾问，当时张作霖在北京组织“安国军政府”，自任大元帅。张作霖对辜一身油光闪亮的清朝服饰和一条灰白的小辫子感到很有趣，匪气十足地劈头就问：“你能做什么事？”这使辜马上联想起42年前刚入张之洞幕府时张之洞留给他的印象。用他自己的话说就是，相随张之洞20余年，虽然不敢说“以国士相待”，但“始终礼遇不少衰”。面对张作霖的劈头一问，辜拂袖而去。

不久，好友梁敦彦去世。辜鸿铭开始沉浸在诗人弥尔顿失明后的诗作里。其时，辜精神上异常苦痛，“日惟祈求速死”。

1928年3月，辜鸿铭染了感冒，头昏目眩，咳嗽连连，请了法国医生来看，不见好转。然后是高烧，头脑里是一片混乱，梦中一会儿是英国，一会儿是槟榔屿故地，一会儿又是张之洞府中……后来痰中出现血丝，中西医诊断均为肺炎。4月底，已经无法进食。30日，感觉大限来临，两个女儿床前饮泣，辜鸿铭心中实在不放心两个还没出嫁的孩子。下午3时40分，辜鸿铭几乎无声地说了句“名望、地位都不过是泡泡，转瞬即逝”之后，便闭上了眼睛。

1928年5月1日《晨报》载：

辜鸿铭昨日（30日）下午三时四十分，在京寓逝世。辜氏所患系肺炎症，历时已月余，遍经中西医诊治，以年老未易奏功，竟以不起。辜号汤生，福建籍。1856年生于新加坡，学于英国爱丁堡大学。通哲学文学，尤长于英法德等国文字。曾英译四书，另有英文著述多种。归国后，入张之洞幕府，任两湖督署文案十七年。复充上海沪浦局总办五年，及南洋公学教务长。辛亥革命后居北京，任北京大学教授多年。前年赴日，在日本帝国大学演讲。张作霖就大元帅，辜复由日回京，任北京大学教授。为学好推崇儒家，于西方哲学，多所非诣。又主忠君之说。性孤僻，发辫至今犹存。享年72岁①。

据罗振玉（辜在张之洞幕府时的同事）记述：临死前几天，辜还口占遗奏，“尚殷殷以东西政教不同为言”，念念不忘他的东西文化差异论。遗疏报给溥仪后，废帝念其忠心，赏银治丧，并赐“含谟吐忠”四字匾额，赐谥唐公。

临死前，他将在清末所著奏疏、条陈与域外政制等文结集，由罗振玉润色并作序，题作《读易草堂文集》，是为他的两部中文著作之一。

安葬辜鸿铭的是他的两个女儿，她们给他的遗体穿上全套崭新的清朝官服，把他那条发白的辫子夹杂着红丝线，细细编好，才放入棺木。与同时代其他文化名人相比，辜鸿铭这个来自西洋的中国人死得极为寂寥。

随后，女儿珍东、娜娃到苏州落发为尼。