天下大乱，刘邦起兵，卢绾就以宾客的身份相随。到汉中后，卢绾被刘邦任命为将军，但很少真正单独外出打仗，他似乎每天都陪在刘邦身边。即使刘邦做了汉王之后，卢绾依然可以在刘邦的卧室内自由出入，甚至连刘邦的避孕套放在哪个抽屉里他都了如指掌。明眼人看得很清楚，在刘邦这里，没有任何人比卢绾更吃得开。就是萧何、曹参等人，虽然也很受重用，但那更多是一种工作关系，一种上下级关系，这些关系是无法与刘邦、卢绾之间的关系相提并论的。当然，最后卢绾叛变，那是后话，不在今天的讨论范围。
陈了卢绾，刘邦最相信的就是自家兄弟刘交，自沛县起兵后，刘邦遭遇了造反以来第一次大危机雍齿叛变，大本营丰邑失守。为了夺回丰邑，刘邦决定投奔景驹。临走之前，他特意安排二哥刘仲、审食其留在家中照顾太公，自己带上小弟刘交，和萧何、曹参一块儿去见景驹。无奈秦军来得太突然，这次投奔行动被迫终止，刘邦只好顺势改投项梁。项梁立了楚怀王后，刘邦奉命西征。取南阳，进入武关;战蓝田，终至灞上。这一系列交战，刘交都全程参与，其间受封文信君。接下来，楚汉之争，刘交继续追随三哥。不管是灭秦还是亡楚，刘氏兄弟中只有刘交一直陪着刘邦。刘交备受他三哥的信任，主要负责传达刘邦所下的各种指令，而事关机密的研究讨论会也总少不了他。征战七年，刘邦的卧室只有两个人可以自由出入，一个是卢绾，另一个就是刘交(交与卢绾常侍上出入卧内)。
刘氏兄弟四人，只有刘交是知识分子(好书)，并对汉初《诗》学的发展贡献不菲。刘交读书有道，年轻时候曾与鲁地的穆生、白生、申公一起求学于著名《诗》学专家浮丘伯。《诗》，即我们今天所讲的《诗经》，浮丘伯则是先秦著名学者荀卿的门人，因遭逢秦始皇焚书坑儒，便和其他同门散了，各自流落。刘交的《诗》学是正宗师承的学识，而重视师承也是刘交《诗》学的特色之一，并逐渐成为整个汉代《诗》学的一大亮点。