高乾的父亲高翼本是渤海（今河北沧州附近）豪族，充满侠气，为乡里敬重。后来由于遭受葛荣之乱，高翼率领族人向南迁徙到了河、济一带（今河北清河附近）。当时的北魏朝廷动荡不安，正是用人之际，便加封高翼为东冀州刺史，以此对抗六镇叛军。高翼本人倒是安分守己，对朝廷忠心耿耿，可他那两个儿子却毫不安分。

高翼共有四个儿子。高乾是老大，虽长得仪表堂堂，风度翩翩，年少时却经常义气用事，干了不少犯法的勾当。可他长大后便改邪归正，知逢乱世，轻财重义，以此结交各路好汉。

高昂（高敖曹）是老三，长得腰圆膀粗，胆力过人，天生一副黑社会保镖的样子，史称其“龙眉豹颈，姿体雄异”。儿子长成这种彪形大汉的身板了，要是高翼这位老爸稍懂得因材施教的教育理念，肯定会让他走上入伍参军的光荣道路。可高翼虽然自己在江湖上混，却盼着这个天生顽劣的儿子能读点书，干点正经事。于是他给高昂找了个管教很严的老师，让他每日寻章摘句学做老博士。

可高昂很明白自己是块什么料，他虽多次遭受老师体罚，却依然贼心不改，把经书扔在一边，整日舞刀弄枪。稍大点更是和他大哥在乡里四处抢劫掠夺，为非作歹，乡人躲之唯恐不及。由于他们兄弟倾家荡产招揽勇士剑客，手下兄弟众多，家族势力庞大，又时逢乱世，所以当地政府对他们这个黑社会团伙也只能睁一只眼，闭一只眼。

高昂是读书无用论最坚定的支持者，他的口头禅是：“男儿当横行天下，自取富贵，谁能端坐读书，做老博士也。”后来唐朝李贺的“男儿何不带吴钩? 收取关山五十州。请君暂上凌烟阁，若个书生万户候”诗里那种尚武贬文的豪气倒是与其如出一脉。当时中原汉人一般只知种田耕地，认为舞刀弄枪、行军打仗天生是鲜卑人的事，自秦汉以来传承的尚武豪气在数百年的异族统治下早已消失殆尽，弱同游丝。而高昂兄弟虽为汉人，却有此豪侠之气，算是秦汉尚武之风在中原汉人中的一次短暂苏醒。

而他们中最小的四弟高季式在胆气上也与这两个哥哥相当，只是当时年纪还小，所以这些东抢西夺的事还轮不上他。这四兄弟中，只有二哥高慎出淤泥而不染，对经史学问颇感兴趣，为父亲高翼最所钟爱——老高心里总算宽慰了些，家门里还是冒出了点书香味。

由于老三高昂经常在外惹是生非，又有着万人不敌之勇，所以高翼对老三的所作所为是又惧又喜。惧的是这愣头青哪天不知天高地厚，干出点无法无天的事，害得自己被灭族；喜的是这儿子勇猛无敌，在这乱世中必然会建立盖世功业，光宗耀祖。不过他的虚荣心终究还是战胜了担忧，这位高爸爸逢人便吹：我的三小子，如果不让我灭族的话，那肯定不会只窝在州里称豪称霸。

老高虽然自己出息不大，可眼光倒挺准，他这个顽劣不堪的儿子后来的确扬名立万了，算是替老高家争了口气。

高家南迁不久，北魏马上发生了“河阴之难”，整个朝廷为之一空。高乾兄弟一下子失去了组织的关怀，于是身上那种不良少年的毒素便马上爆发——他们索性率领族人造了反，接受了葛荣赐予的官爵，明目张胆地和朝廷干了起来。这群黑社会的队伍经高氏兄弟训练后，也勇猛异常，屡屡打败了朝廷的正规军。转眼元子攸坐稳了天下，而高乾本与元子攸私交甚好，便接受招安，一下子被提拔到朝中担任黄门侍郎。

可高乾兄弟的仕途之路并不一帆风顺，他们很倒霉，遭受了当时最高实权者尔朱荣的忌恨。尔朱荣虽然爱惜人才，可高氏兄弟却与元子攸走得很近，不甘心为己所用。尔朱荣便逼迫高乾解官回乡。而回乡的高乾并不老实，与高昂继续招兵买马，阴养壮士。尔朱荣闻此更加厌恶，便设计诱捕了最勇猛的高昂，把他关在晋阳。尔朱荣倒是很看重高昂，这次入洛，也一直将高昂随身携带，关在洛阳的驼牛署里。

如今尔朱荣被刺身亡，高昂自然是猛虎出笼。他连忙披甲执戈，在洛阳城下与契胡人猛战，所向披靡，如入无人之境。元子攸和大臣们本来连遭败仗，士气低落，可现在高昂如此勇猛，所以一个个在城上都看得目瞪口呆，赞叹不已。而高乾在听闻尔朱荣被刺后，也是立马驰赴洛阳，颇有忠臣之心。可高昂虽有千夫不挡之勇，终究是孤身一人，知道难成大事。两兄弟便向元子攸请求回乡招募部曲。元子攸正急于四处培养亲信，连忙加封高乾为河北大使，高昂为直阁将军，命他二人回乡召集勇士，为国效力。