黄初三年222年，孙权再次向曹魏称臣。张辽奉命还屯雍丘，却在此得病。曹丕遣侍中刘晔带著太医审视其疾，并令虎贲卫士们往来传达张辽病况，为张辽问病的使者经常在路上互相遇见。梁章巨三国志旁证中提到“汉三公病，遣中黄门问病。魏、晋则黄门郎，尤重者或侍中。张辽位未至公，而遣侍中，盖宠之也。”可见曹丕如何重视张辽。

张辽之疾久未痊愈，曹丕命人把他接到自己的行营，自己则车驾亲临，握着他的手，赐给他御衣，太官每天来送御膳。病情稍有好转后，张辽便返回其屯军之所驻军，忠于职守。

正当其时，孙权再次背叛曹魏，曹丕派张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，甚为忌惮，敕令诸将道“张辽虽然抱病，但仍是勇不可当的，千万要谨慎在意”同年，张辽与诸将同破吴将吕范。但他的病情却也日渐严重，最后终于在江都逝世，一代名将就此陨落。曹丕为之流涕，谥曰刚侯。其子张虎嗣任其爵。

黄初六年225年，曹丕追念张辽、李典在合肥之功，诏曰“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封辽、典邑各百户，赐一子爵关内侯。”

正始四年243年，张辽得享从祀于曹操庙庭。

张辽是三国时期的名将，他为曹操统一北方南征北战，出生入死，立下了汗马功劳。直到晚年，他还带病征战。张辽的一生几乎全部是在战争中度过的。他先后跟随曹操战山东、讨袁谭、灭袁尚、平辽东，在极端混乱的三国时代，结束豪杰并起、军阀混战的局面，使北方渐趋统一，这在历史上起了进步作用的。