采石之战后，张孝祥奔赴建康，谒见南宋主战重臣张浚。在酒宴上，他即席赋了一首《六州歌头》：
长淮望断，关塞莽然平。征尘暗，霜风劲，悄边声。黯销凝！追想当年事，殆天数，非人力。洙泗上，弦歌地，亦膻腥。隔水毡乡，落日牛羊下，区脱纵横。看名王宵猎，骑火一川明，笳鼓悲鸣，遣人惊。
念腰间箭，匣中剑，空埃蠹，竟何成！时易失，心徒壮，岁将零，渺神京。干羽方怀远，静烽燧，且休兵。冠盖使，纷驰骘，若为情？闻道中原遗老，常南望、羽葆霓旌。使行人到此，忠愤气填膺，有泪如倾。
这首词慷慨激昂，充分表达了词人的无限悲愤之情，更有力地激发了人们的爱国热情。据南宋无名氏《朝野遗记》记载：“歌阕，魏公（张浚）为罢席而入。”可见其感人之深。
绍兴三十二年（1162年），张孝祥被重新起用，朝廷派他去抚州做地方官。孝宗即位后，他又被派到平江府。南宋遭遇符离之败后，张浚推荐张孝祥，说他“可负事任”，所以提升他为中书舍人，不久又调任直学士院，兼都督府参赞军事，领建康留守。
因为军事上的失利，朝廷内部议和的声音再度抬头，但张孝祥依旧坚持着收复中原的理想，多次向皇帝上奏陈述自己的主张。张浚去世后，主战派完全失败，张孝祥也再次遭受打击。主和派汤思退指使人弹劾他，张孝祥罢职，被排斥出了朝廷。
乾道元年（1165年），张孝祥复官静江府。此后历任知潭州，知荆南，荆湖北路安抚使等职位。但是，朝廷上下都缺乏收复失地的斗志和进取心，张孝祥彻底地失望了。乾道五年（1169年）三月，张孝祥请求回乡侍亲，获得了朝廷的批准，他返回芜湖归隐。
张孝祥几经起落，终究没能实现理想抱负，黯然离开了官场。但他的政治主张一直没有改变，他认为只要能不懈奋斗，就能收复中原，一味求和苟安是不可取的。
在为官期间，张孝祥怀着“恻袒爱民之诚心”，政绩卓著。比如在抚州时，他曾单枪匹马和乱兵对峙，干净利落地平定兵乱；在平江时，他惩治奸商，赈济灾民；在建康时，他治理水患，招抚流民；在潭州时，他关注农事，善待百姓；即便是在最终的荆州任上，他只呆了短短几个月，却旧尽忠职守，整修军塞，筑堤防洪，建仓储粮。总之，他每到一处，都有惠政，也能受到当地百姓的敬重。
张孝祥回到芜湖后，没有多久就得急病去世了，终年只有三十八岁。周密在《齐东野语》里记载：“以当暑送虞雍公（虞允文），饮芜湖舟中，中暑卒。”一代爱国词人英年早逝，让后人叹惋不已。