之后，吴经人介绍到天津武卫军中去当管带的勤务兵，正式开始了行伍生涯。后报考开平武备学堂，辍学后到陆军警察队充任正目（班长）。升任初等官（相当于排长），先后被授予准尉、少尉、中尉衔。1903年报考保定陆军速成学堂测绘科，学业一年，1904年毕业后被分配到北洋督练公所参谋处工作。于是被差遣去烟台芝罘日本守田利远军事谍报机构从事谍报工作。主要负责收集俄国在中国东北驻军的军事情报。月饷50元大洋，除去吃喝开支和寄回家中以外还有不少积蓄。加上其他津贴，半年多时间吴佩孚便积蓄到300元大洋。
日俄战争期间，清政府暗中协助日方作战。于是，在北洋督练公所参谋处任职的吴佩孚，奉命为日本人搜集俄军情报。一次，吴佩孚携带重要资料到新民屯开会，他从锦州登车前往。沿途非俄军战领地，比较安全，快抵达新民屯时，大队俄军突然出现，截住火车搜查。吴佩孚在劫难逃，有手提的情报资料为证，他被俄军以“大间谍”之名，抓到沈阳俄军总部。俄军严加审讯，吴佩孚一口咬定，自己刚从军校毕业，正在搜集资料，私下进行日俄战争研究，并对日俄战争发表看法。审讯没有结果，俄军司令大为光火，大笔一挥，判吴死刑。将要执行之际，哈尔滨