刚过而立之年，马云放弃了别人眼中的美好职业：大学教师，正式下海做专业翻译社：海博翻译社。开张第一个月，翻译社收入700元，但房租就2000元。大家恍然不知所措的时候，马云一个人背着个大麻袋去义乌，卖小礼品，卖鲜花，卖书，卖衣服，卖手电筒，用这些买卖的收入弥补翻译社入不敷出的艰难状况。

在激情与坚持的努力下，海博翻译社在成立三年之后终于开始了首次盈利，第四年达到收支基本平衡。到如今，海博是杭州最大的翻译社。不过，翻译社并没有让当时的马云赚到多少钱。据他回忆，从经营翻译社中得到的最大财富是商业感悟，“经营翻译社的过程，让我明白成功者至少需要兼备两种品质：一是，大胆执着的性格；二是，对市场的敏锐嗅觉。”

同样是1995年，马云接触网络。当他在美国发现互联网上所显示的中国企业数据是空白时，他感觉到一个巨大的空白市场悄然站在面前。于是，他倒腾起一个崭新的项目――中国黄页，美国的朋友负责技术，他负责开拓中国市场。

马云开始了一段被人认为是“骗子”的生意和生活，不断尝试着说服从没见过互联网的老板掏钱做网页。即使是他们成功做好第一个订单：杭州的望湖宾馆后，也没办法说服对方，让对方相信照片上看到的宾馆网站就是马云他们做的。迫不得已，马云把美国朋友的电话给他们，让他们查有没有这么一回事儿。一直到宣传效果出来，马云和他的中国黄页才开始被人相信：1995年世界妇女大会在北京召开，外国代表们在来中国之前专门上网去了解中国宾馆的情况。而她们在网站所能查到的唯一一家中国宾馆只有位于杭州的望湖宾馆。代表们到了中国之后，专程从北京飞到杭州，住了两个晚上。逐渐洗清“骗子”名声的马云，业务越做越大。在成功地发布了无锡小天鹅、北京国安足球俱乐部等中国第一批互联网主页后，中国黄页开始在圈子里小有名气。就在1997年年底，网站的营业额竟不可思议地做到了700万元！

然而，马云最出名的事是，在他鼓动之下，《人民日报》相关负责人给中央打报告：《人民日报》要上网。消息流传开来，马云成了中央电视台、《东方时空》的采访对象。半年之后，马云把《人民日报》搬到了网上。成功到来的同时，马云知道，北京已经没有他的机会了。大批的外资企业正在涌进，对于他这样既没有钱、又没有背景的人来说，若想在北京发展，何其艰难。思索再三，他回到杭州。

回到杭州，马云遭遇劲敌杭州电信，后者利用中国黄页已有的市场影响力做了一个中国黄页，加上国有企业的社会资源和信誉度，很快超越马云。从北京退兵到杭州的马云，此时走投无路。权衡再三，他决定与杭州电信合作，中国黄页将资产折合成60万人民币，占30%的股份，杭州电信投入资金140万人民币，占70%的股份。

所谓道不同不相为谋，很快马云因为和合作方战略的分歧，没办法继续合作下去。一向不在乎金钱的他，在临走前把当时所拥有的“中国黄页”21%的股份，全数送给了一起创业的员工，只为他们能为自己好好耕耘，好好收获。这，成为马云人生中的第一次失败。

离开中国黄页时，外经贸部对马云说：到北京来吧，来这儿你能干得更好。就这样，马云再次来到北京，租了一个不到20平方米的小房间，没日没夜地干活，给外经贸部做站点，让外经贸部成为了中国第一个上网的部级单位。