温彦博生性聪颖，能言善辩，又博览群书，受到薛道衡、李纲的赞誉，并得到秦王杨俊的举荐，授为文林郎，宿直内史省，后改任通直谒者。616年(大业十二年)，罗艺自称幽州总管，温彦博被引为司马。
618年(武德元年)，唐高祖李渊在长安称帝，建立唐朝。同年十二月，罗艺降唐，被封为幽州总管。温彦博因预谋有功，授幽州总管府长史，不久被征召入朝，历任中书舍人、中书侍郎，封西河郡公。624年(武德七年)，唐高祖封高句丽国王为上柱国、辽东郡王、高丽王，承认高句丽的藩属国地位。此前，唐高祖曾欲放弃对高句丽的统治。温彦博进言道：“辽东之地在周朝是箕子国，在汉朝则是玄菟郡，魏晋以前便是中国疆域，不可以放弃。如果放弃对高句丽的统治，四夷诸国如何瞻仰大唐威仪。”唐高祖这才作罢。625年(武德八年)，突厥入侵。温彦博被任命为并州道行军长史，随行军总管张瑾出兵抵御。八月，唐军在太谷战败，温彦博被突厥俘虏。颉利可汗知道他是皇帝近臣，向他逼问唐朝兵力虚实。温彦博坚贞不屈，不肯吐露，被流放到阴山苦寒之地。
626年(武德九年)，唐太宗李世民继位，并与颉利可汗在渭水会盟。温彦博得以回朝，被授为雍州治中，检校吏部侍郎。他恪守职责，后被提拔为中书侍郎、兼太子右庶子。628年(贞观二年)，温彦博改任御史大夫，仍代理中书侍郎事务。630年(贞观四年)，温彦博升任中书令，进爵虞国公。当时，东突厥归附，朝臣都建议将其迁徙河南，散居郡县，实行汉化。温彦博提出不同意见，他主张采纳汉武帝安置匈奴的做法，将突厥安置在朔方，保全其部落、风俗。唐太宗采纳了他的建议，但魏徵表示反对，两人为此争论数年。636年(贞观十年)，温彦博升任尚书右仆射。
637年(贞观十一年)，温彦博病逝，终年六十四岁。唐太宗叹道：“彦博因忧虑国家，耗尽心力，这两年精神不济。只可惜没能让他闲暇安逸，以致过早去世。”又命官府为其营建正堂，追赠特进，赐谥号为恭，并陪葬于昭陵。