一岁时，他哥哥只有三岁，那时卫家家道还算殷实，至少在村里算是个小富之家。父母带着他和他哥哥去郊外踏青，突然碰到了强盗。这伙强盗明显的是事先有所准备，直接上来就抢他们兄弟二人，幸而父亲拼死抵抗，算是保住了他，但他哥哥却被抢走。
这个金牌本是因为算命的说他哥哥五行缺金，所以带个金牌，这金牌是他哥哥最喜欢的东西，被强盗抢走时这金牌掉在地上，他哥哥一路伸着手含含糊糊的叫着“牌牌，牌牌！”
强盗临走留下话，让卫家拿五千两银子来换人，但卫家虽然不穷，五千两银子却也实在无法凑足，其时正好有一队朝廷的军马在附近，父亲急忙去求助，没想到那个无能的将领，大张旗鼓的去打强盗，强盗们哪会坐等被杀？等官兵找到强盗的巢穴，只看到一封信，信上说他们远走他乡，再也不在这里打劫了，但卫家也从此不必再想着赎回这个孩子，他们会把这孩子卖掉当路费。
官军大胜而回。他们完成任务了，强盗被赶走，再也不会回来了，至少强盗的信上是这么说的。至于卫家的孩子，那没办法，也许、可能、没准儿、希望将来的某一天，因某个机缘会碰到，等那时再说吧。
卫青自然不记得这些，因为他那时太小了。但他