据说，孔子(孔丘)快死的时候.曾预言说不知何一男子，自谓秦始皇，上我之堂，锯我床,直面倒我衣裳,至沙丘而亡。
孔丘死后200多年，果然有一个秦始皇，他虽然没去拜访孔丘的故居，上堂，踞床，颠倒衣裳，但他却把与孔丘有关的儒家著作烧掉不少，把孔丘的徒子徒孙杀掉一些。而秦始皇最后是果然是死于沙丘这个地方的。
这种似是而非的预言称为谶(chèn)语，这种谶语当然不是孔子的原作，而是后来某些儒生编出来用来欺骗别人的。东汉光武帝名刘秀，他因为谶语中有“刘秀发兵捕不道，四夷云集龙斗野，四七这际火为主”等莫名其妙话。似平可以“证明“他是应“天命”而做皇帝的.就对谶语大加提倡。所以东汉时期，各种各样的谶语大为流行。东汉的儒生除了要学儒家的经书外，还要学“纬书”。纬书明明是汉朝人编造出来的。却假称是孔子等古人秘密传下来的，其中有大量的谶语.因而又称为“谶纬”。当然，纬书中也有精华的东西，如关于地动的学说。但纬书中的大量谶语，宣扬迷信，鬼话连篇.造成思想上的混乱是科学的大敌。
张衡很早就反对谶纬。他的朋友马融、王符、崔瑗不相信谶纬。但是公开反对谶纬是危险的。著名思想家醒谭因为反对谶纬，几乎被光武帝杀掉。著名思想家王充猛烈反对谶纬.但他的著作《论衡》只能秘密流传。所以反对谶纬的意见，只有在朋友之间谈论.而不能公开发表。
公元133年.就是地动仪制成的第二年、张衡为了除迷信.正式向汉顺帝上了奏章.指出谶纬的虚假。他刘邦灭秦.建立汉朝.井没有谶语预言。刘向父子整理皇家图书，编列目标.也没有什么谶书、纬书。可见谶纬是后人编造的.怎么能说是孔子的话呢?纬书中讲到的公输班积墨翟.是战国时人：还讲过益州.这是汉朝设置的州。这些怎能是春秋时孔子说的呢?谶语有很多和经书不合，谶语和谶语也有很多互相矛盾的地方.有人找出30句互相矛盾的谶语去问讲谶语的专家竟无法解答。由此知谶语虚假.不可相信。
张衡还说：几十年前有个宋景，编造什么看见禹的玉版上有谶语说，某年当有水灾.骗得一些人弃去家业，逃进山林。实际上井未出现水灾.闹了个大笑话。这是谶语害人的实例。
张衡在奏章的末尾，要求汉顺帝禁绝谶纬.以免迷惑世人。张衡这勇敢的一击，揭穿了长期流行的谎言，也揭了某些谎言家的面目。他说出了很多正直的知识分子想而不敢说的话。他期待着汉顺帝接受他的意见也准备汉顺帝的严厉惩罚。可是两者都没有。汉顺帝对张衡的意见根本不理会，朝廷里仍保持着死气沉沉的局面。
令人意外的是：就在这年，张衡竟升官了，汉顺帝调他担任侍中。侍中负责侍候皇帝。没有官署，没有具体职务，但是地位很高，是一种高级顾问。于是，张衡有机会进宫和皇帝直接对话。可是张衡发现这位皇帝是庸才，不做什么大坏事.也不做什么大好事。张衡两次上奏章.他都没有采纳：当面提出一些议.他都不置可否。因此张衡的热情减退，过着“得过且过“的日子。
有一天.汉顺帝似平很关心人民的样子，问张衡：“天下所痛恨的是什么人?”张衡想：是什么人，不是早告诉过你了吗?就是那些为非作歹的宦官!张衡正想慷慨激昂地议论一番，揭露宦官的罪行，可是抬头一看，见皇帝左右的几个宦官，都睁着圆圆的眼睛注视着他。
说呢?还是不说?他有些踌躇了。他看着19岁的汉顺帝，一个优柔寡断的青年，心想：向他揭露宦官的罪行，有什么用呢?他本人就在宦官集团的包围监视之中嘛。张衡终于退缩了。他只说了几句无关痛痒的空话。他对现实的政治巳经灰心，要求去编历史。他为西汉的历史搜集了一些材料，要求到皇家图书馆——“东观”去集中力量写西汉的历史，自信某些方面也许胜过班固的(汉书)。他的这个要求没有被接受。
虽然张衡在顺帝面前没有直接揭露宦官的罪行，但对他早前指斥宦官的文章、宦官们的印象是深刻的。他们不希望张衡留在皇帝的左右、想方设法把他调出了京城。