吴稚晖去世后，蒋经国发表了纪念长文《永远与自然同在》，用这个题目来概括吴稚晖的一生确实是恰当之极。

1932年出版的《于右任先生言行录》里面顺便也谈到了吴稚晖，书中用了“一任自然”、“不加束缚”来形容他的穿着打扮。吴稚晖平时总是一件旧布袍，出门外加一把油纸伞，一件马褂上五颗扣子，至少一两颗无法扣上，最好笑的是他的裤腿总是套在长筒袜里，一双破布鞋几乎穿得见洞。吴稚晖以这一身乡巴佬打扮穿梭于冠冕之间，而毫无愧色，神情自然，反倒让人肃然起敬，书中赞其：“初无寒酸相，益见民众化之可贵。”温源宁则说他：“那样笨拙本身已变成一种魅力。”

吴稚晖出门时，行李一定自己带，不劳力人，也不坐人力车。1929年，在南京举行孙中山奉安大典时，时年六十五岁的吴稚晖是党国元老中唯一一个不坐车的，他说：“无论何种马车，我无需它！我最喜欢我这天生的两只腿的驴子，随处可以走得到，安步当车，最为自如。”1933年，时年六十九岁的吴稚晖和一些要人同游衡山，由湖南主席何健招待，其他人都坐轿上山，同样只有他一人自始至终步行。

吴稚晖大概只有一次破例坐车，那是他在当唐山交通大学国文教授的时候。有一次外出旅行，从学校到车站路途很远，恰好又遇到滂沱大雨，道路泥泞，加上行李十分沉重，无奈之下只好雇了一辆人力车，但他路上仍然把自己的雨衣脱下来给车夫穿，认为只有这样自己才能心安。

对于居住，吴稚晖的要求同样很低。他的家中除了必要的生活用品之外，其他装饰正如他的姓一样——“吴”（无）。他自己是书法家，但是墙壁上却从来不挂任何字画，因为越喜欢用文化装饰的人往往越没有文化；他经常有机会跟当朝的显贵们合影，但是这些照片都被他扔掉了，因此也不可能堂而皇之地挂在屋里最显眼的地方，如某些人最喜欢干的。

抗战时，吴稚晖“蜗居”在重庆上清寺73号一间只有十二方尺的小屋内，故名为“斗室”，他戏作《斗室铭》自娱：“山不在高，有草则青，水不在洁，有矾则清。斯是斗室，无庸德馨。谈笑或鸿儒，往来亦白丁。可以弹对牛之琴，可以背癞痢之经。纵臂草际白，粪味夜来腾。无丝竹之悦耳，有车马之作声，西堆交通（交通部）煤，东倾扫荡盆（《扫荡报》）。国父云：阿斗之一，实中华民国之大国民。”人称蒋介石去看吴稚晖“犹如亚历山大帝去看那位木桶里的希腊哲人”。“斗室”不仅小，而且不安全，敌机时常呼啸而过，老蒋屡次请他住黄山官邸，官方也准备为他单独造一住处，都遭到他谢绝。

如果说吴稚晖还有值钱的东西的话，一是他那几千册藏书，他对之视若性命，别的东西可以抛弃，但是自己到哪，书本一定要跟随。

二是他的摄影器材。很多人可能不知道，吴稚晖竟然是中国摄影艺术的先驱。20世纪初，吴稚晖避祸远居英伦的时候，接触到照相术，为之着迷，并一发不可收拾。1906年春，吴稚晖开始学习照相术，并自购照相机为人照相，第二年他又添购了照相灯，此后他又自己添设了暗房。在当年，照相机还是一个奢侈品，摄影是有钱人的专利。而吴稚晖在英国一度穷困潦倒，还要从牙缝里挤出钱来搞摄影，可见其对摄影的挚爱。后来吴稚晖回国后，在上海的居所也弄了一个暗房，专门供自己研究摄影用。