鲁迅在砖塔胡同61号暂时居住不到一年，是作为过渡；到1924年5月，鲁迅正式迁居到阜成门内宫门口西三条胡同21号新居(即现在的北京鲁迅博物馆大院前部的鲁迅故居)。

由于租赁的砖塔胡同房子狭窄，鲁母经常白天到砖塔胡同，晚上再回八道湾。鲁迅为能与母亲同住，便又四处寻找房子。据《鲁迅日记》记载，1923年10月30日联系“购阜成门内宫门口西三条胡同21号房宅事成，议价800银圆”，买下了这个破旧的小四合院。

鲁迅购买了二手房以后，并没有马上住进去，因为那房子太破旧了，必须经过数期的改建、装修。为此总共花费1000银圆左右(约合2010年人民币8万元)。

西三条21号房内的陈设，非常简朴，有9银圆买的铺板三床和7银圆买的旧桌椅5件等。鲁迅向友人许寿裳、齐宗颐各借400银圆；所欠的债，一直到1926年秋天南下厦门大学以后，才用他的讲课费(月薪400银圆)还清。

鲁迅一家三口(他和母亲及发妻朱安)在1923-1926年雇用一个女工，有时加一个车夫，日用开支平均每月60-80银圆，其中购书10银圆左右(但不包括鲁迅本人请客吃饭喝酒以及娱乐消遣的费用)；日子比在八道湾时轻松些了，属于典型的中间阶层。

西三条胡同在古老的阜成门城垣脚下，东面不远处是高耸的白塔——那便是著名的白塔寺。21号院是一座普通的小四合院，占地近400平方米。1924年春天鲁迅亲自设计改建了西三条的这座四合院，于同年5月才迁入，一直居住到1926年8月离京南下，住了两年。

以后，他两次（1929年5月、1932年11月）从上海回北平探亲也住在这里。

院内原先有旧屋6间，为了居住方便，鲁迅亲自绘制了施工草图，将小院进行了改建。改建后的小院面貌焕然一新，金边黑漆的街门，房屋为朱红色的门窗；庭院内的三株丁香树，是鲁迅1925年4月间种植的。院内有3间南房，3间北房，东西各两小间厢房。南房是会客兼藏书室，进屋门迎面靠墙的位置摆放着一排书箱，左上方至今留有鲁迅亲笔书写的编号，这些书箱还是当年从绍兴老家带来的。南面的西间是客房，备有床铺，在女师大风潮中，许广平曾在这里避过难。

北房3间中，堂屋是家人的饭厅；东西两间分别为鲁迅母亲鲁瑞和元配夫人朱安的住宅。鲁迅对朱安一贯以礼相待，但敬而远之。搬进西三条后，依然是夫妻各居一室，琴瑟异趣，漠不相关。鲁迅说：“这是母亲送给我的一件礼物，我只能好好地供养她，爱情是我所不知道的。”对于母亲，鲁迅十分孝顺，每天晚饭后，都要到母亲屋里陪坐一会。当他买了点心回来时，总是先到母亲屋里请老人挑选，然后到朱安卧室，请她挑选，剩下的才拿回自己的卧室兼工作室，作为深夜的夜宵。

北房堂屋向后接出一小间是鲁迅的住处，拖在3间北房后面像一个尾巴，这就是有名的“老虎尾巴”，鲁迅也曾自嘲地称它为“绿林书屋”。

小屋面积不足9平方米，北面的两扇大玻璃窗占了整个墙面，窗下是床铺两条凳架着两块木板，上面摆着一对绣有“卧游”、“安睡”字样的枕头。这是许广平1925年亲手绣制送给鲁迅的定情之物。东壁上挂着一张不大的照片，这就是鲁迅终生怀念的良师——藤野严九郎。黑瘦的面容，八字须，戴眼镜，照片背面写着“惜别”二字。

鲁迅写作的书案，是一张三屉桌，除放有砚台、“金不换”毛笔等文具外，还有一盏高脚煤油灯。在那幽暗的灯光下，鲁迅就用这支“金不换”的毛笔，常常奋笔疾书到东方发白。在这斗室中，鲁迅写出了散文诗集《野草》、小说集《彷徨》中的大部分作品，杂文集《华盖集》、《华盖集续编》，以及《朝花夕拾》、《坟》中的大部分文章，共计200多篇。以上参照许寿裳：《亡友鲁迅印象记》，许广平：《欣慰的纪念》，俞芳：《我记忆中的鲁迅先生》，陈漱渝：《鲁迅在北京》，刘丽华、郑智：《鲁迅在北京》等整理而成。

到1925年北洋政府的财政已陷入绝境，屡屡数月无拨款，政府再三拖欠薪金。1926年奉系军阀张作霖入关，杀害了李大钊等几十名烈士，并通缉进步分子。受到严重威胁的北京文化人纷纷避祸南下。北大教授林语堂应家乡厦门大学校长林文庆之邀任文科主任，并致函聘请鲁迅为国学研究院“研究教授”，比教授还高一级，月薪400银圆。一学期后，鲁迅又从厦门南下广州中山大学任教，月薪500银圆。南方与北方银圆购买力不同，广州500银圆约合北京400银圆。