他关在这个监狱里大约有十二年，严密的看管使他感到极为痛苦，始终在渴望自由的行动和欢乐的生活，不停激起他要逃离这座高塔的决心。他在孤独之中经常处于沉思的状况，注意到小室的角落有一些破裂的砖块，逐渐搬开加宽通道，发现一个黑暗而且被人遗忘的凹间，于是他钻进这个洞穴，并且把剩余的食物也带过去，再将砖头放在原处，很仔细的擦去所有的痕迹。等到守卫巡视的时候，狱室寂静无人使他大为惊诧，带着羞愧和畏惧的心情向上面报告不可思议的越狱。皇宫和城市的大门立即关闭，对各行省下达严格的命令要抓回逃走的犯人，他的妻子被怀疑出力帮助，也被关进这座高塔。她在深夜看到一个幽灵出现，认出是自己的丈夫，他们分享他藏起的粮食。一个儿子就是这次暗中晤面的成果，是他漫长的囚禁中唯一可得到的安慰。看管一个妇女，狱卒的警觉心就会松弛，囚犯才能完成真正的脱逃，当他被发现以后又被抓住，全身脚镣手铐送回君士坦丁堡。

最后他又找到获得自由的方法和工具，家中有个小厮将守卫灌醉，找到机会将钥匙按在蜡上获得模型，经过友人花费很大的力气，将复制的钥匙和一卷绳索，放在一个猪头的下面送进监狱。安德洛尼库斯鼓起勇气和百折不回的精神，运用这些可以获得自由的工具，打开牢门从高塔垂吊而下，白天躲在树丛里，到了夜间爬过御花园四周围绕的高墙。一艘船已经准备好来接应，他回到家里见到自己的儿女，解开身上的脚镣手铐，骑上一匹快马，直接朝着多瑙河的方向疾驰。在色雷斯的安基阿卢斯(Anchialus)，有一位义薄云天的朋友供给马匹和金钱。他渡过多瑙河，很快穿越摩尔达维亚(Moldavia)的旷野和喀尔巴阡(Carpathian)山区，几乎要抵达位于波属俄罗斯的小镇哈利兹(Halicz)，结果被一股瓦拉几亚人(Walachians)在途中拦截，他们决定将这个重要的逃犯送回君士坦丁堡。他保持镇静和不动声色的态度，才能使自己再度从险境中获得解救。他在夜间从马背下来以后就开始装病，获得允许可以不与他们的队伍睡在一起，他将一根长手杖插在地上，将帽?和上衣挂在上面，然后偷偷溜进树林，瓦拉几亚人看到这个背影，一时之间认为他还留在原地。他从哈利兹很隆重接引到基辅(Kiow)，大公爵的府邸设在此地，狡谲的希腊人很快获得耶洛斯劳斯(Ieroslaus)的尊敬和信任。无论世界各地的生活方式和风俗习惯有多么不同，就他的性格来说真是无往不利，在森林里追猎麋鹿和黑熊时，蛮族都称赞他的体力和勇气。曼纽尔请求俄罗斯君王加入他的军队侵略匈牙利，身在北部地区的安德洛尼库斯值得皇帝给予宽恕。安德洛尼库斯发挥影响力完成重要的使命，他在私下拟定条约，有一方在签署以后愿意忠诚的信守，而另一方故意忘怀不予理会。这时他率领俄罗斯骑兵部队，从玻里斯提尼斯河向着多瑙河进军。曼纽尔虽然还是怀恨在心，看到他的堂弟这种豪迈和放荡的性格，难免产生怜惜之情，等到夺取泽姆林(Zemlin)就下令给予他全面的豁免，因为只有他的英勇仅次于皇帝。

安德洛尼库斯恢复自由和回到故土以后，他的野心马上又死灰复燃，自己首当其冲遭到不幸，最后也给国家带来灾难。对于科穆宁家族更有资格继承王位的男性而言，曼纽尔的女儿是一个阻力很小的障碍，她已经许配给匈牙利的王子，使很多贵族丧失希望也引起皇室的成见，难免受到大家的反对。等到要对长子继承权提出效忠宣誓，只有安德洛尼库斯大声疾呼要维护罗马姓氏的荣誉，拒绝承认这不合法的婚约，很勇敢的提出抗议反对收养一个外国人。他的爱国心触怒皇帝，在他提到这件事引起民众的反感以后，皇帝立即免除觐见，给予保持颜面的放逐，到西利西亚边区出任位阶居次的军事长官，赋予全权可以支配塞浦路斯的税收。在这样的一个职位，亚美尼亚人再度验证他的勇气和暴露自己的疏忽，那个叛徒根本不明了安德洛尼库斯的作战方式，就让他从马背上打下来，几乎被他用未遇敌手的长矛戳死。然而安德洛尼库斯立即发现一个更为容易和快乐的征服方式，美丽的菲利芭(Philippa)是马利亚皇后的姊妹，也是普瓦图(Poitou)的雷蒙的女儿，雷蒙是安条克的拉丁君主。基于这个原因他放弃现在的职位，整个夏季花在舞会和马上比武。菲利芭为了爱人，愿意牺牲她的贞操、声誉和门当户对的婚姻。愤怒的曼纽尔痛恨家庭的荣誉受到侵犯，不让他再过花天酒地的生活，安德洛尼库斯遗弃轻浮的公主，让她长吁短叹终日以泪洗面。这时他带着一帮铤而走险的亡命之徒，前往耶路撒冷朝拜圣地。他的家世出身、军事声誉和宗教狂热，公开宣告是护卫十字架的斗士，很快就让教士和君王都受到蛊惑，希腊的君主委派他担任贝里图斯(Berytus)的领主。这个地方位于腓尼基的海岸，有一位年轻漂亮的王后住在邻近地区，不但是他的老乡也是他的族人。狄奥多拉是亚历克修斯一世的孙女，耶路撒冷国王鲍德温(Baldwin)三世的遗孀，她来拜访就爱上这个亲戚，受到他的诱奸成为第三名被害人，公开的丑闻比起前面两名更为羞耻。皇帝仍旧渴望报复，那些在叙利亚边疆的臣民和盟友，不断施加压力要抓住这个逃犯，并且要把他的眼睛给挖出来。他留在巴勒斯坦已经不再安全，温柔的狄奥多拉让他知道已陷入险境，陪伴他一起逃走。现在整个东方全都认为耶路撒冷的王后是向他献媚的侍妾，两个私生子是活生生的证据，说明她的个性是如此的软弱和痴迷。