桓温在退兵回荆州的路上得了重病，可他并没有断绝篡位的野心，又上表要求朝廷赐予他九锡的礼遇。谢安知道不能和桓温硬顶，就反复拖延赐予九锡的文书，一直拖到桓温病死，加九锡的事情也就不了了之。桓温死后，谢安被任命为尚书仆射兼吏部尚书，总揽东晋的朝政。为了缓和矛盾、稳定政局，谢安并没有趁桓温病死的机会对桓氏集团下手，他仍然信任和重用桓温的弟弟桓冲，让桓冲担任都督徐、豫、兖、青、扬五州诸军事和徐州刺史，负责镇守京口（今江苏镇江）。

桓冲也深明大义，心甘情愿地为朝廷镇守四方，将相的和睦稳定了东晋的政局，人们都把谢安比作安定东晋的王导，而谢安的文采风流似乎更胜王导一筹。

谢安理顺了东晋政权的内部纷争后，开始把注意力转移到北方强大起来的前秦政权。当时前秦屡次骚扰东晋边境，东晋朝廷开始招募有才干的将领。谢安知道自己的侄儿谢玄有大将之才，就向朝廷推荐了谢玄。当时有人嘲讽谢安任人唯亲，而谢安的政敌郗超却感叹说：“谢安能不怕讥讽，举贤不避亲，真是有古人的遗风啊。”谢玄果然没有辜负谢安的推荐，他担任广陵太守后，招募江淮子弟和北方流民组建了北府兵，成为东晋最精锐的武装力量。

前秦苻坚曾率百万军队南下消灭东晋，“淝水之战”苻坚大败。两年后，前秦内乱，苻坚竟请求仇敌东晋帮他平乱。可能那时候人心眼实在。要搁现在，肯定认为他脑子进水了。

太元八年（383），前秦主苻坚率领着号称百万的大军南下，准备消灭东晋，统一天下。当时建康城内一片震恐，士大夫无不惊慌失措，只有谢安依然镇定自若。谢安自己以征讨大都督的身份负责军事，并派了弟弟谢石、侄儿谢玄、儿子谢琰和西中郎将桓伊率领8万晋军前去抵御。负责长江西线防守的桓冲担心建康的安危，派遣3000精兵前来协助保卫建康，却被谢安拒绝了。谢玄对是否能挡住秦军也没有把握，临行前向谢安询问对策，谢安只回答了一句：“我已经安排好了。”就再也不谈军事。

后来当晋军在淝水之战中大败前秦的捷报送到时，谢安正在与客人对弈。他看完捷报，便放在座位旁，不动声色地继续下棋。客人忍不住问他，谢安淡淡地说：“没什么，孩子们已经打败敌人了。”等到下完了棋，客人兴高采烈地走后，谢安才抑制不住心头的喜悦，连蹦带跳地进入内室，结果把木屐底上的屐齿都碰断了。

淝水之战的胜利，使谢安的声望达到了顶点，这让谢安遭到了琅邪王司马道子的猜忌。司马道子伙同谢安的女婿王国宝，在东晋孝武帝面前屡次挑拨离间，说谢氏权威太盛，长久下去会是另一个桓温。孝武帝本身就是一个糊涂的家伙，生怕祖宗的江山在自己手里断送，就开始有意疏远谢安。谢安也意识到自己面临的危险局面，他逐步把自己掌握的部分权力交出，以表明自己没有擅权的野心。

太元十年（385），前秦发生内乱，苻坚请求东晋派兵协助平乱。谢安主动提出由自己率军出镇广陵的步丘（今扬州邵伯镇），名义上是准备援助前秦，实际上是想脱离建康这个是非之地。谢安着手建造渡海的船只，准备从海道返回会稽。可船还没造出，谢安就患了重病，只得请求返回建康治病休养。然而谢安回到建康只有几天，就溘然长逝了，年仅66岁。谢安死后，东晋朝廷以隆重的礼仪悼念谢安，心中有愧的孝武帝还在灵堂守灵三天，并追赠谢安为太傅。谢安用他的政治才干让东晋政权度过了相对稳定的30年，史书上称他为“江左第一风流丞相”，而百姓们则称他为“东山贤人”。