张辽字文远，是雁门马邑人。他本是聂壹的后代，因躲避仇家而改姓。年轻时担任郡吏。东汉末年，并州刺史丁原因为张辽武力过人，征召他为从事，派他率领士兵前往京都洛阳。何进派他到河北招募士兵，招得一千多人。返回时，何进已经兵败被杀，张辽便率领士兵归附董卓。董卓死后，张辽又带着部队归属吕布，升任骑都尉。吕布被李傕打败后，张辽跟随吕布向东逃奔徐州，兼任鲁相，当时他二十八岁。曹操在下邳击败吕布，张辽率领部众投降，被任命为中郎将，赐爵关内侯。他多次立下战功，升任裨将军。袁绍被打败后，曹操另派张辽平定鲁国各县。张辽与夏侯渊在东海围攻昌豨，几个月后粮草耗尽，众人商议率军撤回，张辽对夏侯渊说：“这几天以来，我每次巡视围城阵地，昌豨总是盯着我看。而且他射出的箭越来越少，这一定是他心中犹豫，所以不敢全力作战。我想主动邀请他对话，或许能诱降他？” 于是派人对昌豨说：“曹公下令，让我向你传达。” 昌豨果然下城与张辽会面，张辽向他陈述 “曹公神明威武，正以德惠安抚四方，先归附的人会得到重赏”。昌豨于是答应投降。张辽便独自一人登上三公山，进入昌豨家中，拜见他的妻子儿女。昌豨十分欢喜，随即跟随张辽拜见曹操。曹操派昌豨返回原地，责备张辽说：“这不是大将该有的做法。” 张辽道歉说：“因为明公的威信闻名天下，我奉您的圣旨前往，昌豨一定不敢加害于我。” 后来张辽跟随曹操在黎阳征讨袁谭、袁尚，立下战功，代理中坚将军。又跟随曹操在邺城攻打袁尚，袁尚坚守城池拒不投降。曹操返回许都，派张辽与乐进攻占阴安，将当地百姓迁移到黄河以南。张辽再次跟随曹操攻打邺城，邺城攻破后，他另率一军攻占赵国、常山，招降了沿山作乱的各路贼寇以及黑山军的孙轻等人。跟随曹操攻打袁谭，袁谭兵败后，张辽又单独率军攻占海滨地区，击败辽东贼寇柳毅等人。返回邺城时，曹操亲自出城迎接，拉着张辽同乘一辆车，任命他为荡寇将军。张辽又奉命攻打荆州，平定江夏各县，返回后驻扎在临颍，被封为都亭侯。跟随曹操在柳城征讨袁尚，突然与敌军相遇，张辽劝说曹操出战，斗志十分激昂，曹操赞赏他的勇气，把自己手中的指挥旗授予他。张辽于是率军出击，大败敌军，斩杀了单于蹋顿。