冷山年庚二十九，十五岁那年考上太学，是太学里那一届最为年轻优秀的学生。他出身的冷家，乃河内郡郡治怀县的大家族，历经三朝九世，始终为长盛不衰的名门望族，世称“河内望”，国师少时人在颍川，相隔不远，自有听闻。
冷山祖父乃是当时的河内太守冷铭中，一代大贤，儒术颇有造诣；其长女嫁给当时的北军中尉、名将邝汉为妻。冷山从小跟随姑父邝汉学习弓马弋猎，跟祖父冷铭中学习诗书礼义，练得文武双全年少风流。他原本考上了太学，但是当时关内爆发战争，西凉入侵，他便在一片惊愕哗然声中，选择了投笔从戎，跟着姑父参战，走上戎马之路。
他是文人，但作为武将，他很快适应军队的生活，能和最下阶层的士兵打成一片，加上性格果敢，富有谋略，在军队里越升越高，成了射声营里的军侯。原本以为将途会一片坦荡，然而后来爆发南方战争，他随姑父邝汉出战樊城，却因为当时的斥候没能及时传出情报，邝汉从错误的方位突袭，陷入重围。邝汉为了掩护冷山的弓兵队伍撤退，被敌军围杀。
此事发生之后，战斗结束，冷山跑去跟斥候营的人打了一架。营内挑衅滋事聚众斗殴，按照军规，他被连降三级，打一百军棍，贬为百夫长。后来不久，上头又把