次年6月，为了推进国内学术的发展，他与赵元任、胡明复、任鸿隽、杨杏佛、周仁、秉志、章元善、金邦正、过探先等，在美国发起“中国科学社”，以提倡科学，鼓吹实业，审定名词，传播知识为宗旨，并出版月刊，名曰《科学》，分中英两种，中文版在上海发行。社址暂设美国绮色佳城。这是我国第一个科学团体，他们鼓吹学术救国，利用《科学》杂志向国内介绍留学生的情况及西方的科学知识。此会酝酿将近一年，1915年正式成立并出刊。1918年随留学生迁回国内，在南京、上海设事务所，后来逐渐扩大，对中国的科学事业作了巨大贡献。在科学社中，胡适虽未担任什么职务，但他一直参与其事，并给以积极支持，踊跃投稿和参加年会。

1929年1月胡适曾为该社作社歌一首，歌词是：

我们不崇拜自然，

他是个刁钻古怪。

我们要捶他煮他，

要使他听我们指派。

我们叫电气推车，

我们叫以太送信。

把自然的秘密揭开，

好叫他来服事我们人。

我们唱天行有常，

我们唱致知穷理。

不怕他真理无穷，

进一寸有一寸的欢喜。

词写成后，赵元任为之谱曲，1930年在北平一次社友会上为庆祝该社成立15周年曾演唱过。之后1935年10月24日，中国科学社在上海国际饭店举行庆祝会，胡适应邀在大会上发表演讲。他讲述了“科学社”的发展经过，其中特别赞扬了生物研究所，说：“秉志、胡先骕两大领袖领导下，动物所、植物所同时发展，在此20年中为文化上辟出一条新路，造就许多人才，要算在中国学术上最得意的一件事”云云。以上略述其大概，足以看出胡适对发展科学之重视，因为它与教育是密不可分的。

1915年1月18日胡适离绮色佳城应邀到波士顿出席该地区开的卜朗吟(Boston Browning Society)会议。期间曾赴哈佛大学访友，在此遇中国同学郑莱、吴康、宋子文、张福运、竺可桢、孙恒、赵文锐、陈长蘅、贺茂庆等人，大家畅谈极欢。20日夜，澄衷老同学竺可桢请他吃饭，在座的有郑莱、张子高等7人，彼此都有见面难得之感，故倾谈甚快，其中胡适与郑莱说话最多。他们讨论了中国的重要问题，一致认为：(一)设立国立大学以救今日国中学者无处寻求高等学问之地，(二)设立公共藏书楼、博物院，(三)设立学会等等。大家各抒己见，表示了对祖国的怀念和希望。

同年2月22日，胡适与学校里的英文教师亚丹先生的一次谈话，也谈到设置大学的问题，这位教师问他：中国有大学吗?他答不上来。这位老师又说，如果中国想保全固有之文明，创造新文明，那末非有国家大学不可。并称国之先务，莫大于是。胡适听了很有感触，于是便将自己近来所主张办国立大学之方针向老师作了汇报，其中谈到了他在《非留学篇》中的许多主张。当时老师十分夸奖他，并称中国如有一所完美之大学，他将以自己收藏多年的书籍千余册相赠，鼓励胡适努力奋斗，去实现自己的办学理想。胡适听了很受鼓舞。当天他在日记里写道：“吾他日能望见中国有一国家大学可比此邦之哈佛，英国之剑桥、牛津，德之柏林，法之巴黎，吾死瞑目矣!”胡适特别强调在国内设立国立大学的重要性，他认为，国内如果没有一个地方，让人们去求取高等学问，那末人才势必外流，到外国去留学，这种局面不改变，国内文明将永无进步之希望。因此他特别强调办国家大学。

胡适上述思想，在他写的《非留学篇》一文里，讲得更为透彻。这篇文章发表在1914年1月《留美学生年报》上，约有1.5万字。此文比较全面地论述了他对待官费留学生的看法，及其对改革国内高等教育的意见。文章开宗明义，对留学生中存在的一些问题提出了批评。他说：

“留学者，吾国之大耻也；

留学者，过渡之舟楫，非敲门砖也，

留学者，废时伤财，事倍而功半者也；

留学者，救急之计，而非久远之图也。”

他告诫人们首先要认识到留学是不光彩的，以数千年之古国，东亚文明之领袖，一变而北面受学，称弟子国，天下大耻，莫过于是。但他并不反对国家派遣留学生，而是要人们知道这是一种耻辱，记住把它洗刷掉。同时，要明确自己责任，不能把留学当作将来回国猎取功名富贵的敲门砖，而是要如渡海之船夫，乘风而来，采山之神药，乞医国之金丹，然后扬帆而归，以他人之所长，补我所不足，使我国古文明，得新生机而益发扬张大，为神州造一新旧混合之新文明。因此，他说：“留学当以不留学为目的。是故派遣留学生至数十年之久，而不能达此目的之万一者，是为留学政策之失败。”

有鉴于此，他认为大量派遣青年（时每年200人）出国留学，是废时伤财，事倍而功半。他主张把每年派遣留学生的官费（银40万元）拿来在国内办高等教育，而以留学为造就大学教师的途径，如是以大学为鹄、留学为矢，那么我国教育前途，或许会有希望了。他批评政府数十年来的留学政策，是忘本逐末，以留学为久长之计，而不知振兴国内大学，推广国内高等学校，以为根本之图。他说：“国内高等学校不兴，大学不发达，则一国之学问无所归聚，留学生所学，但成外国入口货耳”。这是舍本逐末的政策，在这种思想指导下，政府自然偏重实际科学——工科，而看轻了文科。于是，由于上以所劝，下以此应的关系，留学生多去学工但求一技之长，急于求成，归国谋取利禄。他认为这是救急之计，而非久远之图。因此他指出：“虽极其造诣，但可为中国增铁道若干条，开矿山若干处，设工厂若干所耳!于吾群治进退，文化盛衰，固丝毫无与也”。既然如此，那末留学是否可以废除呢?他的回答是否定的。他说留学是救急之上策，过渡之舟楫，我国一日未出过渡之时代，留学则一日不可废。不能因噎废食。问题的关键是要改变过去以仕进利禄的教育方针和派遣留学生的方法。他认为：“今日教育之唯一方针，在于为吾国造一新文明”。接着解释道：“吾国之旧文明，非不可宝贵也，不适时耳!不适于今日之世界耳!”“吾国居今日而欲与欧美各国争存于世界也，非造一新文明不可。造新文明，非易事也。尽去其旧而新是谋，则有削趾适履之讥。取其形式而遗其精神，则有买椟还珠之诮。必也。先周知我之精神与他人之精神果何在?又须知人与我相异之处果何在?然后可以取他人之长，补我所不足。折衷新旧，贯通东西，以成一新中国之新文明，吾国今日之急务，无急于是者矣。20世纪之大事，无大于是者矣。以是为吾民国之教育方针，不亦宜乎。”胡适特别强调文科作用，认为文科才能从根本上改变国家的落后面貌。他说，为长久计，应该以国内高等教育为主，而以留学为宾。今日之大错，在于以国内教育仅为留学之预备，因此国内各有名的学校，都重视外语，用外国语教授科学；学生以得出洋留学为最高之目的，学校亦以能使本校学生可考取留学官费，或能直入外国大学，则本校之责已尽矣。这是今日最大之隐患。为了改变这种局面，他提出要改变教育方针，面向国内，具体办法有二：(一)慎选留学生，提出许多严格的标准，比如要通晓国学：《四书》、《五经》、《史记》、《汉书》、《说文》、《唐诗》、《宋词》等。其次是外语要求能读书、作文，还要有第二外语(能以字典读书为度)。文学要能作文自达其意，而且能翻译外文，等等。上述要求，无非是要提高留学生的质量，以便能完成留学生所负的责任，使其归国后为国家出力报效，做一番建设事业。所以他说：“留学者，新文明之媒也，新文明之母也。”(二)增设大学。他认为当时国内虽有几所大学如北京、北洋、南洋三大学，但极不完备，须要从各方面扩充，使之完备。他主张，大学之数，不必多，但要完备精全。不妨就以上述三大学为重点，务使百科咸备，与于世界有名大学之列，然后以余力增设大学于汉口、广州等地。此外还须办省立大学，办法可就已有之高等学堂为起点，改为大学。科目可视省内之急需而增设，如浙江大学可以增设蚕学、种茶专科，福建大学则须设漆工及造船专科，江西大学当设有磁器之类。其次鼓励私人捐款办学，设立私立大学，政府考查成绩，对成效大著者，应予以补助，使之得以充分发展。