俞陛云幼承家学，受祖父曲园先生耳提面命，悉心指导，因此在文学、书法方面皆有建树，尤精于诗词。著有《小竹里馆吟草》、《乐青词》、《蜀輶诗记》、《诗境浅说》、《诗境浅说续编》、《唐五代两宋词选释》等。

平伯先生出身于如此家庭，自幼受古代文化的熏陶，奠定了雄厚的旧学基础。其曾祖以曲园为号，而曲园是一座古典园林与普通住宅浑成一体的小园。乃由友人资助在苏州城内马医科巷买下潘氏一块废地，由俞樾先生亲自设计，凿池垒石，栽花种竹，建屋三十馀楹。由于地形呈曲尺形状，故取名曲园，并由此自号曲园老人。

曲园主要建筑曰“春在堂”，是俞老翰林读书、写作的书斋，也是接待宾朋、谈诗论文之所在。俞樾30时，在北京保和殿参加朝考（入选翰林之考试），试题为“澹烟疏雨落花天”，俞樾以“花落春仍在”开篇，深得阅卷官曾国藩赏识，故而荣登榜首。曲园先生将“春在”题作堂名，且将250卷著作题名为《春在堂全书》，足见此事在其心灵深处的地位。春在堂之东，是正厅乐知堂。西北，是一个小园，西边一条长廊，中间有曲水亭，廊下一泓清泉，名曲水池。东面，一座假山傍池崛起，山上筑有徊峰阁和在春轩，曲园老人常在此吟诗玩月。南北则有认春轩与达斋相对而立。老人曾有诗记之：“书生例好事，所乐唯林泉，爰因地一曲，而筑屋数椽。”