齐州临淄（今山东淄博）人。
父段偃师，末年任太原郡司法书佐，后来跟随起义，官至郢州刺史。
段志玄少年时家住太原，与友好往来。
李渊起兵时，段志玄招募了一千多人参军，授右领军大都督府军头。
随军攻克霍邑（今山西霍县）、绛郡（今山西新绛）及永丰仓（今陕西大荔），每次出战都当先锋，升迁为左光禄大夫。
段志玄随刘文静在潼关（今陕西潼关东南）与隋将屈突通交战时，刘文静的主力部队受到敌将桑显和的袭击。
这时段志玄赶来，带领20名骑兵向战斗最激烈的地方冲去，一连杀死几十人，敌军后退，段志玄也撤回来。
当时他的脚部中箭，他怕影响将士的斗志，拔掉箭镞，忍着疼痛，一而再、再而三地冲人敌阵拼杀，直打得桑显和阵容大乱。
将士们看到段志玄等人已经扭转了战场的局面，士气大振，齐声呐喊奋进，大破敌军。
屈突通夺路逃跑，段志玄与几员将佐飞马追击，终于生擒屈突通。
归来脱下靴子，鲜血已经外溢。
李渊以其带伤立功，授乐游府骠骑将军。
后来在扫荡窦建德、攻克东都洛阳的大战中，他又多次立功，于是升迁秦王府右二护军，赏物2000段。
在李建成与李世民的斗争中，建成和元吉一派曾经使用赠送金帛的手段来拉拢段志玄，但他拒不接受，并暗中报告李世民。
其后与尉迟敬德一同参与玄武门事件。
世民即位后，升任其为左骁卫大将军，封樊国公，食邑900户。
太宗文德皇后长孙氏去世时，段志玄与宇文士及分别率领兵马出肃章门驻扎。
有一天夜间，太宗有急事，派遣宫廷官员到二将军军营里去。
使者到了宇文士及的军营，一经通报，便进入了军营之中；到了段志玄的军营却吃了闭门羹，守营将士说：“夜晚不开军门。
”使者说：“我这里拿的是皇帝的手令。
”段志玄亲自回答说：“夜间辨不清真假。
”仍然不予开门，硬是让使者在门外等到天亮。
太宗听到这件事后，不但没有批评他，反而赞叹道：“这才是真正的将军，也不过如此吧１
贞观十一年（637），审定世袭封爵时，授予段志玄金州刺史，改封为褒国公。
贞观十二年，拜右卫大将军；贞观十四年，加镇军大将军。
贞观十六年，段志玄去逝。
太宗赠辅国将军，扬州都督。
谥号“忠壮”。
陪葬昭陵。
贞观十七年，绘形于凌烟阁二十四功臣图中。
665673 
34887 
14284