后，他的儿子年幼，家道开始衰落。同族的泰赤乌部势力强大，他们遗弃了铁木真母子，迁到了别处。铁木真家的属民也相继离开他们投靠了泰赤乌部。近侍脱端一火儿真也准备离开，铁木真亲自挽留。他却说：“深池已干，坚石已碎，留复何为？”诃额伦见此情景，遂亲自上马，麾旗将兵，追赶叛离的部众，驱其大半回归。部将察剌合（又作察剌海）在厮杀中受伤，铁木真亲自慰劳。此后，仍不断有部众离他们而去。
被族人遗弃的铁木真母子流落在斡难河畔，过着贫困的生活，家里只剩下一个仆人、九匹马。在艰苦的环境中，坚强的诃额伦带着幼子们与命运抗争。她束紧固姑冠，严整衣裙，奔波在斡难河边。他们采拾杜梨野果，掘取野葱、野韭和草根为食，铁木真兄弟还在河中捕鱼。以维持全家人的生计。
铁木真一次，铁木真因捕获的一尾金色鱼被其异母弟抢走，与之发生争执。母亲教育他们：你们是同父之子，一定要和睦相处。要知道，现在你们是“影子以外无伴当，尾巴以外无鞭子”，如果兄弟间再不和，就无法向泰赤乌人报仇。铁木真不听劝告，竟杀死了异母弟别克帖儿。为此，他遭到母亲的严厉斥责。她训斥说：“败子们，你如吃胞衣的狗，如冲山崖的猛兽，如难抑其怒的狮子。