当时史珪、石汉卿受宠，张琼曾轻侮他们二人，二人将张琼恨之入骨。乾德元年(965)八月，石汉卿声称张琼擅乘官马，畜养部曲百余人，作威作福，又诬毁赵光义为殿前都虞候时事。宋太祖赵匡胤召张琼面讯，张琼不认罪，宋太祖大怒，令石汉卿用铁击其首，张琼被打的气垂绝，被曳出，下御史案查。随后宋太祖下令赐死张琼。宋太祖很快听说张琼家无余财，只有奴仆三人，非常后悔。因此责备石汉卿：“你说张琼有奴仆部曲百人，在哪里呢?” 太祖命优恤其家属，擢其兄张进为龙捷副指挥使。
