退一步说，即使这些说法都是真的，也不能推断爱因斯坦一定患有所谓的孤独症，因为即使被公认为健康的人，有时也总会表现出性格中的弱点，这些症状或多或少总有可能发生在人们身上。加州大学圣地亚哥分校一些精神病学家也反驳前述剑桥学者的说法，他们研究认为拥有良好的幽默感在患有严重的孤独症的病人中不可能出现。爱因斯坦的智慧众所周知，而他的幽默风趣有过之而无不及。爱因斯坦晚年有一次在他的普林斯顿高级研究所工作时，发现他那只叫“老虎”的猫在这么一个雨天中看起来情绪低落，他风趣地向猫咪表达同情说：“我知道问题所在，伙计，但我不知道控制下雨的开关在哪里，没法帮你关掉它”。如此睿智风趣的智者，看来不太可能是所谓的轻度孤独症患者。

在爱因斯坦五岁时的一天，父亲送给他一件带来终生影响的小玩意——一个神奇的指南针。这个不断地指向北边的小磁针使得年幼的爱因斯坦对自然的神奇力量十分好奇和敬畏，在他幼小的心灵留下难以磨灭的印记。他第一次意识到在自然中存在着人们看不见的神奇力量，让他对其中的奥秘萌生了探索的向往。这个魔力磁针给他的深刻印象非常持久，即使到了晚年爱因斯坦依然对它津津乐道。

同一年，即1884年，爱因斯坦还没达到进入慕尼黑小学的年龄，重视孩子教育的爱因斯坦夫妇便聘请一位家庭教师在家教育小爱因斯坦，让他学习一些启蒙知识。

1885年秋天，六岁的爱因斯坦进入社区天主教小学上学。他是班上惟一的犹太学生。宗教教育是学校课程的一部分，爱因斯坦对圣经故事和天主教圣人很是熟悉，可能这段学校生涯所学的课程。因为并不太重视宗教和犹太传统的赫尔曼和保利娜都无法胜任亲自教孩子这些知识，不过他们还是希望给孩子了解犹太民族遗产的机会，所以放学后的课余时间就由一位远亲给他传授宗教源自于传统方面的课程。那时爱因斯坦的对传统宗教颇感兴趣，特别是对天主教和基督教。多年以后，爱因斯坦的著作1949年入选当代在世哲学家文库，他在为此所写的《自述》中写道：“就这样，我由此……达至对宗教的笃信，但这一进程在我十二岁时戛然而止。”他用“宗教的笃信”这个词使自己有别于广泛流行的宗教迷信。他至死都认为自己在更广泛意义上是“虔诚的”，并尽力解释此中深意（具体见第八章结尾部分）。不过就其宣称所信奉的个人宗教信仰“宇宙宗教”而论，他实际上是一名无神论者。

爱因斯坦六岁左右开始学习拉小提琴，一直学到十四岁。音乐对这个有时脾气很坏的小家伙有着特殊的镇定作用，事实上他也表现出在音乐方面相当高的天赋。他终生热爱音乐，既喜欢聆听也喜欢自己拉小提琴和弹钢琴。爱因斯坦在1929年接受采访时说：“如果我不是个物理学家，则可能成为一名音乐家。我整天沉浸在音乐的遐想中，把自己的生命当作音乐中的乐章。我生命中大部分欢乐都来自于音乐。”有人曾报道过爱因斯坦是个不错的音乐家，但其他人对此并不以为然。一个专业小提琴手称爱因斯坦“拉起小提琴来姿势难看，像个伐木工在伐木”；一个著名的钢琴家在与爱因斯坦一块弹琴时对他说：“看在上帝的份上，艾尔伯特，你会不会识谱啊？”而一个柏林的音乐批评家误以为爱因斯坦的大名是因为他的小提琴演奏，而不是因其物理学理论。他听过演奏后评判道：“爱因斯坦的演奏非常棒，不过这并不足以让他获得世界声誉；有许多人能拉得跟他一样好。”爱因斯坦的兴趣还不仅限于此。他后来曾说宁愿选择做一个水管工或销售员，甚至曾向工科学生暗示做一个灯塔守护者亦有其可取之处——显然，这是个兴趣广泛的人。他选择、推荐这些行业并非认为物理学不适合他，而是因为觉得物理学的思考在从事这些工作的时候也能兼顾。

1888年秋天，九岁的爱因斯坦在慕尼黑升学进入当地一所九年制高级文法中学一年级。在此期间他接触到一些犹太孩子，但并未结交特别亲密的朋友。他显得有些孤僻不合群，在孩子们和老师中并不十分招人喜爱。他的一个老师还认为他将一事无成，并责怪他的出现破坏了班级尊师的风气。另一个老师则责备他的记忆力糟糕得像个筛子，刚发生的事像水一样很快就从他脑中流走了。