早期事迹
段志
玄的父亲段偃师，曾任太原郡司法书佐。段志玄身材伟岸，器宇轩昂，但是为人无赖，屡次违反法纪。
611年(大业七年)，隋炀帝远征高句丽，段志玄时年十四岁，应募从征。后来，段志玄随父亲客居太原，得到李世民的赏识。
迫擒屈突
617年(大业十三年)，唐高祖李渊在晋阳(今山西太原)起兵反隋。段志玄募兵千余人，被授为右领大都督府军头，并担任先锋，夺取霍邑(今山西临汾)、绛郡(今山西新绛)，攻打永丰仓(在今陕西大荔)，累功至左光禄大夫。
后来，段志玄随刘文静到潼关抵御屈突通。刘文静被桑显和偷袭，军营溃散。段志玄率领二十余骑冲阵，连杀数十人，身中流失，仍三次冲入敌阵。最终，唐军军心大振，桑显和大败。不久，段志玄与诸将追擒屈突通，因功授乐游府骠骑将军。
屡建功勋
621年(武德四年)，秦王李世民东征王世充。段志玄在作战时马倒被擒，敌军两将抓着他的发髻，要将他带走。在渡洛水时，段志玄纵身跳起，将二人拉坠马下，夺得马匹驰归。数百人在后面追赶，但是都不敢逼近。不久，王世充、窦建德相继被平定，段志玄因功
升任秦王府右二护军。
626年(武德九年)，太子李建成欲谋害李世民，以重金贿赂段志玄，企图诱其归顺。段志玄拒不接受，并将此事告知李世民，后与尉迟敬德等人发动玄武门之变，诛杀李建成、李元吉。不久，李世民登基，是为唐太宗，段志玄迁任左骁卫大将军，封樊国公。
634年(贞观八年)，段志玄被任命为西海道行军总管，率领边军与契苾、党项等部落兵马征讨吐谷浑。吐谷浑大败，段志玄率军追击八百余里，到达青海湖三十余里时不敢再追，致使吐谷浑驱赶着牧马逃走。唐太宗大怒，罢免其官职，后又让他官复原职。
晚年生活
637年(贞观十一年)，唐太宗封功臣为世袭刺史，段志玄为金州刺史，改封褒国公。638年(贞观十二年)，升任右卫大将军。640年(贞观十四年)，又加镇军大将军。
642年(贞观十六年)，段志玄患病。唐太宗前往探视，并打算封其子为五品官。段志玄请求将官职封给弟弟段志感，唐太宗遂封段志感为左卫郎将。不久，段志玄病逝，终年四十五岁，赠辅国大将军、扬州都督，谥号庄肃(一作忠壮)，并陪葬昭陵。
轶事典故
长孙皇后出葬时，段志玄与宇文士及分别统领兵马守卫肃章门。太宗在夜晚派遣使者到达他们两人驻所，宇文士及开门放行，段志玄则闭门不让使者进来，并道：“军门夜晚不能开。”使者道：“我有皇帝的手敕。”段志玄道：“夜间难辨真伪。”使者无奈，只好等待到天明。太宗听说后，称赞道：“这是真正的将军，周亚夫也不过如此。”
人物评价
李世民：①司徒赵国公无忌、……故辅国大将军扬州都督褒忠壮公志元、……故徐州都督胡壮公秦叔宝等：或材推栋梁，谋猷经远，纲纪帷帐，经纶霸图;或学综经籍，德范光炜，隐犯同致，忠谠日闻;或竭力义旗，委质藩邸，一心表节，百战标奇;或受庙堂，辟土方面，重氛载朗，王略遐宣。并契阔屯夷。劬劳师旅，赞景业於草昧，翼淳化於隆平。 ②理怀沈毅，气干强雄，蜀汉委质，早效忠款。颍川从我，备尽心力，预艰虞於藩朝，陪戎征於阃外。勤宣阶陛，功表旌旗，西城之地，襟带巴蜀，藩翰之重，实俟勋庸。
吕温：褒公虎臣，先运而臻。谒帝太原，许唐以身。拥剑驾气，腾风跃云。积忠累仁，光有厥勋。建旄北伐，细柳宵屯。风谧霜凝，严扃达晨。天子之使，驻车军门。安众秉威，此真将军。桓桓，克壮有闻。
刘昫：敬德夺槊陷阵，鼓勇王师，却赂报恩，竭忠霸主。然而奋拳负气，非自全之道;文皇告诫之言，可为功臣药石。叔宝善用马槊，拔贼垒则以寡敌众，可谓勇矣。知节志平国难，拜隼篽则致命辅君，可谓忠矣。而并晓世充之猜贰，识唐代之霸图，可谓见几君子矣。志玄中镝不言，竟安师旅。公谨投龟定议，志助储君。皆所谓猛将谋臣，知机识变。有唐之盛，斯实赖焉。
后世地位
643年(贞观十七年)，唐太宗将二十四位功臣的画像挂在凌烟阁，段志玄位列第十。
668年(总章元年)，段志玄等三十六位太原元从、西府旧臣被唐高宗评为第一等功臣。
705年(神龙元年)，唐中宗追封前代功臣二十五家，段志玄也在其中，“所食实封，并依旧给”。
779年(大历十四年)，唐代宗评定前代功臣，段志玄与李孝恭、尉迟敬德等人同列第二等二十四人之内。
780年(建中元年)，段志玄与裴寂、刘文静等三十四人被定为功臣上等。
家庭成员
父亲
段偃师，隋末为太原郡司法书佐，随唐高祖起兵，官至郢州刺史。
兄弟
段志感，曾任左卫郎将。
儿子
段瓒，袭封褒国公，官至左屯卫大将军。
段瓘，曾任朝邑令。
段珪，曾任宣州长史。
孙子
段怀简，段瓒之子，袭封褒国公，官至太子詹事。
段怀昶，段瓘之子，曾任德州参军。
段怀晏，段瓘之子。
段怀皎，段瓘之子。
段怀本，段珪之子，曾任礼部郎中。
史籍记载
《旧唐书·卷六十八·列传第十八》
《新唐书·卷八十九·列传第十四》
《资治通鉴·卷一百八十四·隋纪八》
《资治通鉴·卷一百八十八·唐纪四》
《资治通鉴·卷一百九十一·唐纪七》
《资治通鉴·卷一百九十四·唐纪十》
文艺形象
小说形象
古典小说《说唐全传》中，段志玄作段志远，是开唐四老将之一，封定国公，征辽东时在凤凰山被盖苏文杀死。
民间形象
《兴唐传》等隋唐评书中，段志玄作段志贤，原为隋朝大将，与花公吉、花公义、马三保、殷开山、刘弘基同守金堤关，都使大刀，号称“六口大刀镇金堤”。贾柳楼四十六友反山东，程咬金斧劈花公义，秦叔宝枪挑花公吉，夺取金堤关，段志玄四人投奔潼关大帅魏文昇，李渊起兵时献潼关归降，封开国公。
墓葬纪念
段志玄墓
段志玄墓是昭陵陪葬墓之一，位于陕西礼泉县九嵕山。
段志玄碑
段志玄碑立于唐朝贞观十六年(642年)，现存于昭陵碑林第一室。碑额以篆书阳刻“大唐故右卫大将军扬州段公之碑”，碑文以楷书书写，共32行，满行65字，漫漶过半。