从盐城到扬州，由里下河入京杭大运河，水路300里。在这条水路上载客航行的一种木船，船上可以烧饭，可以睡觉，叫做“窝船”。扬起风帆，要不了一天一夜，就可以到达扬州。

1924年初秋，年方12岁的胡乔木（当时名胡鼎新），第一次远离家门，坐窝船来到苏北最繁华的城市——扬州，开始长达六年的中学生活。

入学不久，胡乔木就以才华出众博得“神童”的美名。他写的一篇文章《送高二同学赴杭州参观序》，受到老师的嘉奖。由此，他的作文常被语文教师选作范文在同学中传阅。

扬州八中在大革命时期是一所相当活跃的学校。学生中进步青年不少，学校里也有共产党和国民党左派的活动。大哥达新比鼎新高三个年级，当时思想很进步。他同宿舍的同学不少是国民党左派，其中也有中国共产党党员因国共合作而加入国民党的“跨党分子”。在他们的宿舍里，有各种进步刊物。由于这一层关系，胡乔木在上初中时，就读过《向导》《新青年》《中国青年》等刊物，看过《共产党宣言》，倾向革命，向往马克思、恩格斯描述的共产主义社会。胡乔木爱好文学，《创造月刊》《小说月报》等新文学刊物更是他爱读的刊物。他还阅读了一些外国文学作品，几十年后，他回想起俄国作家安特列夫的剧本《望星空》，说：“我当时还是一个初中的学生，读时当然偏向于参加革命而牺牲的儿子，对那位天文学家的父亲倒也不痛恨，只是感到世界上原来有这样一种人生哲学的态度，不过自己无法同情罢了。”

初中二年级时，有两件事使胡乔木开始接触到中国共产主义运动，给胡乔木很深的印象，很大的影响。

一件事是，听恽代英的演讲。恽代英从读书与救国的关系讲青年人的出路，说明读书不忘救国、为了救国的道理。胡乔木深受教育，进一步明确了读书的目的和意义，非常钦佩共产党的革命家、宣传家。他的学习更加勤奋，阅读进步书刊也更加自觉了。

另一件事是，在《中国青年》上读到朱自清的诗《赠AS》。在这首诗中，朱自清赞颂他的这位朋友有无比的威力——“我想你是一阵飞沙走石的狂风，要吹倒那不能摇撼的黄金的王宫！”这位朋友要成就空前的伟业——“你飞渡洞庭湖，你飞渡扬子江；你要建红色的天国在地上！”胡乔木说：这首诗虽然没有直接提出共产主义，但是它已经明白地、毫不含糊地讲到共产主义的理想，这就是“要建红色的天国在地上！”

对于胡乔木说来，这是他思想发展的一个重要契机。由此开始，胡乔木接触并进而学习和实践共产主义思想，不久就投身于中国的共产主义运动了。

胡乔木一开始只是跟一些高年级的进步同学（其中也有共产党员）有接触，跟着他们参加一些校内外的反帝爱国运动和反对军阀的活动。那时正值北伐战争胜利发展，在北伐军进入江苏境内快要过江的时候，校内共产党组织曾经策动军阀孙传芳部驻扬州的一个团倒戈起义。胡乔木参加贴标语（如：打倒军阀、打倒帝国主义、欢迎北伐军）、折叠响应北伐军的油印传单准备散发等活动。不久北伐军来了，学校里也住了很多部队。后来孙传芳反攻，北伐军退走。传说孙传芳要大开杀戒，屠杀学生。胡乔木和参加欢迎北伐军、策反倒戈等活动的同学都逃到长江南岸的镇江躲避。春寒料峭，一二十人挤在一个阁楼的地板上睡觉。在避难中，胡乔木也没有浪费时间，利用这个机会，“读了几本马克思主义和国民党左派的小册子，对于当时的政治变化稍微有了些更清楚的认识”。

在镇江躲避了一个来月，“四一二”反革命政变发生，镇江的火车站、轮船码头，到处贴着“肃清跨党分子”、“欢迎蒋总司令”等标语。胡乔木他们在镇江不能待了，只好又回扬州。兵荒马乱，学校放假，胡乔木就算初中毕业了。