苏武出使匈奴的第二年，汉武帝派贰师将军李广利带兵三万，攻打匈奴，打了个大败仗，几乎全军覆没，李广利逃了回来。李广的孙子李陵当时担任骑都尉，带着五千名步兵跟匈奴作战。单于亲自率领三万骑兵把李陵的步兵团团围困住。尽管李陵的箭法十分好，兵士也十分勇敢，五千步兵杀了五六千名匈奴骑兵，但是匈奴兵越来越多，汉军寡不敌众，后面又没救兵，最后只剩了四百多汉兵突围出来。李陵被匈奴逮住，投降了。
李陵投降匈奴的消息震动了朝廷。汉武帝把李陵的母亲和妻儿都下了监狱，并且召集大臣，要他们议一议李陵的罪行。
大臣们都谴责李陵不该贪生怕死，向匈奴投降。汉武帝问太史令司马迁，听听他的意见。
司马迁说：“李陵带去的步兵不满五千，他深入到敌人的腹地，打击了几万敌人。他虽然打了败仗，可是杀了这么多的敌人，也可以向天下人交代了。李陵不肯马上去死，准有他的主意。他一定还想将功赎罪来报答皇上。”
汉武帝听了，认为司马迁这样为李陵辩护，是有意贬低李广利（李广利是汉武帝宠妃的哥哥），勃然大怒，说：“你这样替投降敌人的人强辩，不是存心反对朝廷吗？”他吆喝一声，就把司马迁下了监狱，交给廷尉审问。
审问下来，把司马迁定了罪，应该受腐刑（一种肉刑）。司马迁拿不出钱赎罪，只好受了刑罚，关在监狱里。
司马迁认为受腐刑是一件很丢脸的事，他几乎想自杀。但他想到自己有一件极重要的工作没有完成，不应该死。因为当时他正在用全部精力写一部书，这就是我国古代最伟大的历史著作──《史记》。
原来，司马迁的祖上好几辈都担任史官，父亲司马谈也是汉朝的太史令。司马迁十岁的时候，就跟随父亲到了长安，从小就读了不少书籍。
为了搜集史料，开阔眼界，司马迁从二十岁开始，就游历祖国各地。他到过浙江会稽，看了传说中大禹召集部落首领开会的地方；到过长沙，在汨罗江边凭吊爱国诗人屈原；他到过曲阜，考察孔子讲学的遗址；他到过汉高祖的故乡，听取沛县父老讲述刘邦起兵的情况……这种游览和考察，使司马迁获得了大量的知识，又从民间语言中汲取了丰富的养料，给司马迁的写作打下了重要的基础。
以后，司马迁当了汉武帝的侍从官，又跟随皇帝巡行各地，还奉命到巴、蜀、昆明一带视察。
司马谈死后，司马迁继承父亲的职务，做了太史令，他阅读和搜集的史料就更多了。
在他正准备着手写作的时候，就为了替李陵辩护得罪武帝，下了监狱，受了刑。他痛苦地想：这是我自己的过错呀。
现在受了刑，身子毁了，没有用了。
但是他又想：从前周文王被关在羑里，写了一部《周易》；孔子周游列国的路上被困在陈蔡，后来编了一部《春秋》；屈原遭到放逐，写了《离骚》；左丘明眼睛瞎了，写了《国语》；孙膑被剜掉膝盖骨，写了《兵法》。还有《诗经》三百篇，大都是古人在心情忧愤的情况下写的。这些著名的著作，都是作者心里有郁闷，或者理想行不通的时候，才写出来的。我为什么不利用这个时候把这部史书写好呢？
于是，他把从传说中的黄帝时代开始，一直到汉武帝太始二年（公元前95年）为止的这段时期的历史，编写成一百三十篇、五十二万字的巨大著作《史记》。
司马迁在他的《史记》中，对古代一些著名人物的事迹都作了详细的叙述。他对于农民起义的领袖陈胜、吴广，给予高度的评价；对被压迫的下层人物往往表示同情的态度。他还把古代文献中过于艰深的文字改写成当时比较浅近的文字。人物描写和情节描述，形象鲜明，语言生动活泼。因此，《史记》既是一部伟大的历史著作，又是一部杰出的文学著作。
司马迁出了监狱以后，担任中书令。后来，终于郁郁不乐地死去。但他和他的著作《史记》在我国的史学史、文学史上都享有很高的地位。