长庆四年（８２４），张籍又改官主客郎中。这年冬天，与他关系至密的韩愈去世了。弥留之际，张籍一直守候在旁。韩愈死前曾想写遗书托付后事，并要张籍共同署名，虽因病重未果，但已足见韩愈对张籍信赖之深了。这位良师益友的逝去，无疑对暮年的张籍是一个沉重的打击。过了两年，即唐文宗大和二年（８２８），张籍又授任国子司业。大约到大和四年（８３０）或稍后，这位穷苦一世的诗人便与世长辞了，年约六十岁。
张籍晚年职务上虽连连迁升，但他在《祭退之》诗中仍说“籍贫无赠赀”，《书怀》中说：“老大登朝如梦里，贫穷作活似村中”，说明到死也未能摆脱贫穷的困境。张籍一生穷苦，久遭压抑，究其原因，主要是他那些尖锐揭露社会矛盾的作品遭到当权者的忌恨，他的猖介自守、刚直不阿的性格也不讨权贵们欢喜。而他自己，宁守贫贱也不屑以钻营攀附的手段来攫取富贵。据说他的名作《节妇吟》，就是以比喻手法拒绝藩镇李师古之请的。所以姚合说他“甘贫辞聘币，依选受官资”(《赠张籍太祝》)。他自己在诗中说：“况我愚朴姿，强登名利场”（《赠姚愆》），和白居易所说：“昔我为近臣，君常稀到门；今我官职冷，唯君来往频”（《酬张十八访宿见赠》），都说明了他的这种不愿趋炎附势、争名逐利的可贵品质。
张籍晚年思想上确实较前消沉。作品中送迎赠答的应酬诗，寄情山水的闲适诗，表示羡慕退隐生活的抒怀诗，都渐渐多了起来。特别是在对待佛道的态度上，由过去的力排佛道到晚年的“年长道情多”（《春日抒怀即事》），“别从仙客求方法，时到僧家问苦空”（《书怀》），出现了明显的变化。封建社会一些正直的读书人往往以“达则兼济天下，穷则独善其身”作为自己立身的原则。数十年的官场浮沉使他痛感此生已无实现“兼济天下”之志的可能了，便退而求其次，以“独善其身”来保持晚节：应该说寄情山水、访僧求道，至少是一种不愿同流合污的消极反抗的表现。
但张籍晚年仍不忘对文学事业的追求。他尽心培养后进，努力扶植文学新人。据范摅《云溪友议》记载，朱庆余应考前曾拿自己的作品求张籍推荐。张籍就认真地读了他的诗，加以吟改，最后选了些佳作“置于怀抱而推赞之”。于是“清列以张公重名，无不缮录讽咏”，朱庆余“遂登科第”。其他青年诗人如项斯、姚合等也曾受过张籍的奖掖。
张籍一生的诗歌创作，大致有三个时期。４０岁以前为早期。他自称“籍在江湖间，独以道自将。学诗为众体，久乃溢笈襄。”（《祭退之》）韩愈称赞他“籍也处闾里，抱能未施邦。文章自娱戏，金石日击撞。龙文百斛鼎，笔力可独扛。”（《病中赠张十八》）可见张籍早期就写了不少好诗。４０岁至５０岁为中期。这是张籍诗歌创作的重要时期，他的优秀的乐府歌行作品，多是这一时期在贫病交迫中写成的。５０岁以后为晚期。这时，张籍官职逐步升迁，生活比较稳定。除仍写乐府歌行外，多作近体。
张籍的乐府诗与王建齐名，并称“张王乐府”。诗中广泛深刻地反映了当时各种社会矛盾，爱憎分明地批判现实。如《塞下曲》痛陈穷兵黩武之害，反对开边；《凉州词》指责边将不能收复失地，实际上是支持反侵略的正义战争；《筑城词》、《山头鹿》反映当时人民除了备受战争之苦，还得忍受统治阶级的残酷剥削；《求仙行》、《吴宫行》嘲讽统治阶级思想愚蠢，生活荒淫；《董公行》歌颂“恭顺从事”的正派官僚；《伤歌行》描写了结局狼狈的简傲豪奢之徒；《山农词》和《贾客乐》则不但写出农民的艰难困苦，还写了商人的奢侈豪华。张籍的乐府诗，还善于描绘农村的风俗习惯和生活画面。《采莲曲》、《寒塘曲》、《江村行》、《樵客吟》等都用鲜明的形象表现了采莲妇女、打鱼少年、农夫、蚕妇和樵客的动作情态。《江南曲》描写水乡景色，明媚如画。
张籍乐府诗艺术成就很高。他善于概括事物的对立面，在乐府诗的数篇之间或一篇之内形成强烈的对比；又善于运用素描的手法，细致而真实地刻画各种人物的形象。从体裁说，大都为“即事名篇”的新乐府；有时虽用旧题，但其思想内容仍与新乐府的精神一致。语言通俗浅近而又峭炼涵蓄，常以口语入诗，《白鼍鸣》、《云童行》等几乎全从口头自然流出。他还着意提炼结语，往往意在言外地完成了全篇的批判和讽刺的任务，《征妇怨》、《陇头行》等都是如此。
他的乐府，生前已为人所推服，白居易在《读张籍古乐府》中，称许他“尤工乐府诗，举代少其伦”。姚合在《赠张籍太祝》中，评价他“古风无手敌，新语是人知”。后世称誉者更多。宋代王安石说他的诗“成如容易却艰辛”。许□《彦周诗话》说“张籍王建乐府宫辞皆杰出”。元代杨士弘《唐音》则谓：“王、张乐府体发人情，极于纤悉，无不至到”，更道出了张诗的重要特点和长远传诵的原因。
张籍的五律，不事藻饰，不假雕琢，于平易流畅之中，见委宛深挚之致。杨慎《升庵诗话》曾指出，晚唐五律有两派：一派学贾岛，另一派如朱庆余、陈标、任蕃、章孝标、司空图、项斯等，则学张籍。
南唐末年张洎收集张籍诗４００多首，钱公辅名为《木铎集》１２卷。南宋末年汤中以家藏元丰八年写本为主，兼以各本校定，编为《张司业集》８卷，附录１卷，魏峻刊刻于平江。今传宋蜀刻本唐人集中的《张文昌文集》４卷，共收诗３１７首。明嘉靖万历间刻本《唐张司业诗集》８卷，共收诗４５０多首，《四部丛刊》曾据以影印。１９５８年，中华书局上海编辑所以它为底本，并参照现存各本进行校勘删补，编成《张籍诗集》８卷，共收诗４８０多首。另据《新唐书·艺文志》著录，张籍有《论语注辨》２卷，今佚。事迹见新、旧《唐书》本传。