1975年6月，邓小平把精力转向重整中国的科学事业。“文革”期间，在汇聚了大量高级科学家的中国科学院，每250个科学家中就有一人被迫害致死；中科院上海分院的每150人中有一人死于非命。即使在社会上少数仍然维持运转的研究机构中，科研工作也受到极大的干扰。在“文革”前夕的1965年，中国科学院有106个下属研究单位，科研人员24714人。到1975年时只剩下13个研究所、2个研究室和2000多名人员，其中有1800名干部或科研人员，200名后勤人员。在1975年，很多下放农村的科学家还没有回来。邓小平、华国锋派出胡耀邦、李昌担任中国科学院核心领导小组负责人，对中国科学院进行整顿，包括选拔新领导、恢复科学著作的出版。因此，对科学界的整顿是从中国科学院开始，随后扩大到其他研究机构的。

邓小平亲自决定由胡耀邦领导中国科学院的实际整顿工作。7月中旬，华国锋代表邓小平和党中央对胡耀邦说，党希望中国科学院在四个现代化中发挥重要作用。胡耀邦首先要对中国科学院进行摸底调查，把情况汇报给中央，然后搞一个整顿计划。中国科学院的整顿完成后，再整顿其他科研机构——隶属于国防部、分管经济的各部和地方政府的科研机构。之后要对学校和出版系统进行整顿。

胡耀邦率领一个三人小组，带着整顿的命令于7月18日来到中国科学院。他宣布，“文化大革命”在中国科学院已经结束，工宣队和军宣队都要离开，中科院过去被下放农村的人现在可以回到自己的单位重新工作。要让科研人员获得必要的研究文献，包括外文出版物。

几周之后，胡耀邦召开了有中国科学院人员和各主要部委代表参加的一系列会议，探讨中国在未来10年的科学技术需求。这些会议标志着向制定10年科学规划迈出的第一步。从8月15日到22日，胡耀邦又和相关的党委干部开会，讨论中国科学院的重建和主要领导人的选拔。他宣布，中国的目标是在20世纪末实现包括科学现代化在内的四个现代化。在整个9月份，胡耀邦与各研究所的领导开会，讨论如何克服他们工作中的具体障碍。在去各研究所之前，他全面研究了有关各所的材料，并与熟悉所内工作情况的人员交谈。

胡耀邦能够设身处地为受过罪的人着想，因为他和他们都是被迫害的幸存者。他十几岁便加入共产主义运动，不久后险些因某些有问题的社会关系而被判处死刑；“文革”期间，他在获准回京重新工作之前也受过迫害。恢复工作的科学家觉得能与他亲近，对他产生了信任感：这是一个理解他们苦难的人，因为他也受过苦。此外，经过认真研究，胡耀邦逐渐了解了各研究所存在的基本问题，他完全信任中国科学院的科学家团队。

他还帮助解决中科院人员的个人生活问题，例如改善他们的生活条件，把家属从农村调到北京。事实上，他指示各所的干部把全部下放农村劳动和“学习”的人员列出一份名单，绕开繁文缛节把他们调回来。他不怕替他们说话，为他们的事业出头。每次他在某个研究所讲话都会成为一件很轰动的事。他很快就成了中国科学家群体心目中的英雄。

9月26日，胡耀邦向邓小平汇报了中国科学院在拨乱反正、选拔新领导和恢复工作方面的进展，邓小平充分肯定了胡耀邦的工作。10月4日胡耀邦被正式任命为中国科学院“党的核心小组”第一副组长。他上任之后为各研究所任命了三套领导班子：一套管党，一套管业务，一套管后勤。他尊重专家，明确表示业务上的事由他们说了算。该年底邓小平受到批判时，胡耀邦正在为各研究所任命新的行政领导，政治气候一变，任命进程也随即停了下来。在制订中国科学院的整顿计划和为成立单独的中国社会科学院制订计划的同时，胡耀邦还根据邓小平的指示，着手制订了一个由中国科学院牵头的“十年科学规划”。由于仓促上马，胡耀邦主要利用了1956年批准的现成的“十二年规划”（1956～1967）。新规划的第一稿于8月11日完成，即胡耀邦召开一系列中科院研究所会议之前。