王阳明的品德感化了龙场的百姓，他们逐渐和王阳明亲近起来。王阳明也积极学习当地语言，努力和他们交流。当时王阳明住在石窟中，潮气较重，对健康不利。当地百姓就提议给他建间小木屋，王阳明自然非常高兴。在大家伙儿的帮助下，小木屋不到一个月就竣工了。

为此，王阳明特意作了两首诗，题为《龙冈新构》（《王文成公全书》卷十九），据此可以想见小木屋的一些基本情况。

谪居聊假息，荒秽亦须治。

凿薙林条，小构自成趣。

开窗入远峰，架扉出深树。

墟寨俯逶迤，竹木互蒙翳。

畦蔬稍溉锄，花药颇杂莳。

宴适岂专予，来者得同憩。

轮奂非致美，毋令易倾敝。

营茅乘田隙，洽旬始苟完。

初心待风雨，落成还美观。

锄荒既开径，拓樊亦理园。

低檐避松偃，疏土行竹根。

勿剪墙下棘，束列因可藩。

莫撷林间萝，蒙笼覆云轩。

素缺农圃学，因兹得深论。

毋为轻鄙事，吾道固斯存。

据此可以得知，依靠众人凿岩取石、斩枝取木，才最终建成。小木屋的造型和周围的景致也非常协调。

此外，屋子周围还遍植花草。打开窗子，远处的群峰一览无余；俯瞰下去，山麓中的山寨错落有致。尽管木屋没有高楼大厦那么美观，甚至显得有些寒酸，但来客可以在里面轻松自在地休息。屋子是众人在农活间隙帮助建造的，所以盖了十天才露出雏形。为了避开一棵卧松，故而建得比较矮。在疏松的土里埋下几根竹子，同时保留墙下的荆棘，并把它们修剪成列，做成篱笆。藤蔓爬到屋子上，自由自在地生长。另外开辟了一条小路，做了一个小农圃。

王阳明在《龙冈新构》的序中提到当时有弟子建议将小木屋取名为“龙冈书院”，但他觉得不妥，于是命名为“何陋轩”，并且还作了一首《何陋轩记》（《王文成公全书》卷二十三），叙述了定此名的缘由。

昔孔子欲居九夷，人以为陋。孔子曰：“君子居之，何陋之有？”

守仁以罪谪龙场。龙场，古夷蔡之外，于今为要绥，而习类尚因其故。人皆以予自上国往，将陋其地，弗能居也。而予处之旬月，安而乐之，求其所谓甚陋者而莫得。独其结题鸟言，山栖羝服，无轩裳宫室之观、文仪揖让之缛，然此犹淳丽质素之遗焉。盖古之时，法制未备，则有然矣，不得以为陋也。夫爱憎面背，乱白黝丹，浚奸穷黠，外良而中螫，诸夏盖不免焉。若是而彬郁其容，宋甫鲁掖，折旋矩矱，将无为陋乎？夷之人乃不能此。其好言恶詈，直情率遂，则有矣。世徒以其言辞物采之眇而陋之，吾不谓然也。

始予至，无室以止，居于丛棘之间，则郁也。迁于东峰，就石穴而居之，又阴以湿。龙场之民老稚，日来视，予喜不予陋，益予比。予尝圃于丛棘之右，民谓予之乐之也，相与伐木阁之材，就其地为轩以居予。予因而翳之以桧竹，莳之以卉药，列堂阶，办室奥，琴编图史，讲诵游适之道略俱。学士之来游者，亦稍稍而集于是。人之及吾轩者，若观于通都焉，而予亦忘予之居夷也。因名之曰 “何陋”，以信孔子之言。

嗟夫！诸夏之盛，其典章礼乐，历圣修而传之，夷不能有也，则谓之陋固宜。于后蔑道德而专法令，搜抉钩絷之术穷，而狡匿谲诈，无所不至，浑朴尽矣！夷之民方若未琢之璞，未绳之木，虽粗粝顽梗，而椎斧尚有施也，安可以陋之？斯孔子所谓欲居也欤？虽然，典章文物，则亦胡可以无讲！今夷之俗，崇巫而事鬼，渎礼而任情，不中不节，卒未免于陋之名，则亦不讲于是耳。然此无损于其质也。诚有君子而居焉，其化之也盖易。而予非其人也，记之以俟来者。