内史卫文升之兵，赐爵陈郡公，迁丞相府掾，从秦王李世民率八总管兵讨薛举战败，士卒死者十五六，被除名为民，后又从军讨平薛举之子薛仁杲，恢复爵位。
武德六年在讨伐刘黑闼的路上，殷开山病死，李世民临丧痛哭，赠陕东道大行台右仆射（仆射，就是丞相。是吴承恩写唐僧的外祖父曾是当朝丞相的依据，虽然是追封……），谥曰节。
半夜之时，丘行恭率五千大军出现在常青粮仓，守粮士兵纵火而逃，丘行恭赶紧带人扑火，其中的粮食是支撑李靖两万大军继续作战的本钱，很宝贵！
城中火大，扑了半个小时火势减小，丘行恭很激动的对几个儿子说道：“那群没种的兵，连放火都放错了地方！真不知道公孙策怎么会让他们来镇守粮仓要地，可见公孙策也是草包一个！”