任，诬谗张郃不卖力作战，失败后还出言不逊。张郃心中害怕，与将军高览愤而投奔曹操。曹操闻张郃来降，十分高兴，将此事比作微子去殷、韩信归汉，于是拜张郃为偏将军，封都亭侯，授予他部队，随军作战。
[204年]，张郃随曹操攻克邺城，大败袁尚。次年，又随曹操在南皮消灭袁谭势力。
[207年]，曹操远征乌桓，张郃与张辽共为先锋。战后，张郃因功升为平狄将军。后来，张郃又参加了征讨管承，征讨陈兰、梅成等人的作战。
[211年]，马超、韩遂叛乱，张郃随曹操出征，在渭南大破关中军。继而，张郃率军围攻安定，击降杨秋。
[214年]，马超在张鲁支持下，卷土重来。张郃跟随夏侯渊击败马超，并平定了宋建的叛乱。
[215年]，曹操亲率大军进攻汉中，从散关入，派张郃率五千步兵在前开道，一直到阳平。张鲁投降，曹操回军，留张郃与夏侯渊、徐晃等守汉中，以拒刘备。同年，张郃率兵南下进攻巴西郡，欲迁徙当地百姓到汉中。刘备派征虏将军张飞为巴西郡太守，抗击张郃。张郃军进至岩渠，被张飞击败，率残部退回南郑，改任荡寇将军。
[218年]，刘备进攻汉中，