当时唐高宗造蓬莱、上阳、合璧等宫殿，再征讨四方少数民族，京师马厩养官马万匹，官家储藏钱币和粮食的府库逐渐空虚。张文瓘上谏言说：“王者养育百姓，使百姓安逸就会富足而且安康，使他们忧劳就有怨恨而致反叛。秦、汉时期广征四夷，大建宫室，到秦二世时就土崩瓦解，汉武帝末年百姓人口减半。所以制治应在国家没有动乱之时，保国要在朝廷没有危险之际。人没有永远不变的心，（而）对仁需要归心。我愿意去安抚百姓，不要使（他们）因劳累而产生怨愤。隋朝的教训离今天不远，（我们）不能不省察。”高宗皇帝认为张文瓘的谏言很正确，（因而）赐给（张文瓘）缯锦百段，因为（张文瓘）的谏言裁减了几千匹马厩里养的官马。
（张文瓘）改任黄门侍郎，兼太子右庶子，又兼大理卿。不到十几天，裁断疑案四百件，被判罪的人没有怨言。（张文瓘）曾经患小病，囚犯一起吃斋祈祷，希望（张文瓘病好）马上回到岗位上。当时因为（张文瓘）执法公平仁恕人们把他比作唐初曾任大理寺少卿的大臣戴胄。后来（张文瓘）官拜侍中，兼太子宾客。许多囚犯听到张文瓘升官调离大理寺，（人人）都垂泪，（张文瓘）得人心就是这样。（张文瓘）性格严肃正直，不曾曲法宽容。朝廷各部门的奏议，他都用心纠举驳正，所以皇帝信任他委派他（的事多）。有时张文瓘因病请假移交的事务急于办理，其他宰相上奏事宜，皇帝一定要问：“与文瓘讨论过了吗？”如果没有议过的，皇帝就说：“到（张文瓘）那里和他一起共同筹划这件事。”有时（奏事人）说：“已经和（张文瓘）议过。”皇帝就说上奏的事都准奏了。