国渊年少时曾师从事奉郑玄。后来与邴原、管宁等人到辽东郡躲避兵乱。返回故乡以后，被曹操征召任司空掾属，每次在曹公府上议论政事，常常正色直言，谦让无私。曹操想广泛地兴办屯田，让国渊主持这项事务。国渊屡次陈述应当增减的项目，考察土地，安置民众，计算百姓数量，设置官吏，明确考核的办法，五年的时间里，就使粮仓丰实，百姓竞相勉励，乐于这项事业。
曹操征讨关中，让国渊任居府长史，主管留守事宜。田银、苏伯在河间县谋反，田银等人失败后有许多余党，都应该依法治罪，国渊认为这些人不是首恶分子，请求不对他们执行死刑，曹操听从了他的意见。依赖国渊这个建议得以活命的有一千多人。写战胜贼兵的文书，旧例往往夸大，以一为十，到了国渊上报斩杀首级数量的时候，实有多少就报多少。曹操询问他这样做的原因，国渊说：“在征讨境外敌寇时，多报斩首捕获士兵数量的人，是想要夸大战绩，并且用来显示给百姓去看、去听。而河间在我们境域之内，田银等人叛逆，虽然战胜他们是有功的，但国渊私下里仍为这事感到耻辱。”曹操很高兴，提升国渊为魏郡太守。
当时有人写匿名信诽谤别人，曹操痛恨这种行为，想知道写信人是谁。国渊请示把原信留下，而不把它宣扬泄露出去。原信很多地方引用了《二京赋》的内容，国渊嘱咐功曹说：“这个郡很大，现在虽是首都，却少有喜好学问的人。这封信颇能开导启发年轻人，我想要派人去拜师学习。”功曹派遣了三个人，国渊在派遣前先召见了他们，教训说：“你们所学的东西还不广泛，《二京赋》是有关博物的书籍，世上人忽略了它，很少有能讲解它的老师，你们可以去找寻能读懂它的人，向他请教。”又秘密地告诉他们自己的意图。几天就找到了能读《二京赋》的人，三人就去拜师。跟着请那个人写了一纸笺书，与那封信一比较，与写信的人是一种笔迹，随即把那人拘捕审问，得到了全部事情真相。曹操提升国渊为太仆。
国渊虽居于列卿之位，但是仍穿布衣吃素食，把俸禄赏赐都分给亲朋故旧，自己却保持着谦恭节俭，最后死在官任上。