日本文学中最纯粹的民族形式是古代歌谣，在这个基础上形成了和歌。和歌由五句、三十一个音节构成，三十一个音节大约只相当于十几个有独立意义的汉字词，因此可以说和歌是古代世界各民族诗歌中最为短小的诗体。和歌短小，形式上极为简单，在叙事、说理方面都不具备优势，只以抒发刹那间的情绪感受见长，几乎人人可以轻易随口吟咏。及至平安时代日本歌人大量接触汉诗之后，对汉诗中音韵体式的繁难、意蕴的复杂，留下了深刻印象。而空海大师的《文镜秘府论》所辑录的中国诗学文献，所选大部分内容都集中于体式音韵方面，这也极大地刺激和促进了和歌领域形式规范的设立。在与汉诗的比较中，许多日本人似乎意识到了，没有难度和深度的艺术很难成为真正的艺术，和歌浅显，人人能为，需要寻求难度与“深”度感，而难度与深度感的标尺，就是艺术规范。和歌要成为一种真正的艺术，必须确立种种艺术规范（日本人称为“歌式”）。艺术规范的确立意味着创作难度的加大，而创作难度的加大不外体现在两个方面：一是外部形式，日本称之为“词”；另一个就是内容，日本人称之为“心”。

于是，从奈良时代后期（8世纪后期）开始，到平安时代初期（9世纪），日本人以中国的汉诗及诗论、诗学为参照，先从外部形式—“词”开始，为和歌确定形式上的规范，开始了“歌学”的建构，陆续出现了藤原滨成的《歌经标式》等多种“歌式”论著作，提出了声韵、“歌病”、“歌体”等一系列言语使用上的规矩规则。到了10世纪，“歌学”的重点则从形式（词）论，逐渐过渡到了以内容（心）论与形式论并重。这种转折主要体现在10世纪初编纂《古今和歌集》的“真名序”（汉语序）和“假名序”（日语序）两篇序言中。两序所谈到的基本上属于内容及风体（风格）的问题。其中“假名序”在论及和歌生成与内容嬗变的时候，使用了“或事关神异，或兴入幽玄”这样的表述。这是歌论中第一次使用“幽玄”一词。所谓“兴入幽玄”的“兴”，指的是“兴味”、“感兴”、“兴趣”，亦即情感内容；所谓“入”，作为一个动词，是一个向下进入的动作，“入”的指向是“幽玄”，这表明“幽玄”所表示的是一种深度，而不是一种高度。换言之，“幽玄”是一种包裹的、收束的、含蕴的、内聚的状态，所以“幽玄”只能“入”。后来，“入幽玄”成为一种固定搭配词组，或称“兴入幽玄”，或称“义入幽玄”，更多地则是说“入幽玄之境”，这些都在强调着“幽玄”的沉潜性特征。