与甘宁类似亦是江湖豪侠，黄巾之乱时他趁机带人占领徐州琅琊一带，部下有一万之众，后刘毅救援北海徐州之后曹操回军与吕布大战，陶谦用刘备三兄弟进击琅琊，臧霸见其势大便避走泰山，此时孙观等人已随张燕投奔了刘毅。吕布兵败之后曾与冀州养兵，袁绍便用其攻伐泰山群寇，于是乎他又值刘备收取徐州之机回了琅琊，再之后袁曹二人共分青州，臧霸部化整为零遁入山林，每每大军过后便是死灰复燃，加上此人颇有将略，袁绍也是极为头疼，这数年见泰山一直难以清剿，还渐渐发展出了万余人马。
当然无论是冀州袁绍、兖州曹操、徐州刘备，臧霸都知自己无法与之相抗，也是想方设法盘旋与三者之间，偶尔表露出投效之意，倒也在夹缝中生存了下来，年半之前孙观来此拜访，言及骠骑将军刘毅欣赏臧霸之才，想将他收为己用，当然也提出了优厚的条件。
多年之中，袁绍曹操与刘备三人都曾派人前来劝降，条件也不谓之不厚，臧霸亦知自己如此也是难以长久，可事关万余兄弟的性命，他不得不谨慎有加。相比这三者，刘毅的优势便在于他有大义之名，代表天子之意，更让他动心的是似张牛角、张燕、管亥、周仓这些黄巾降将刘毅用之从无疑虑且待之极厚，因此倒也颇为心动。