吴与弼的先祖吴兢为唐朝汴州人，唐睿宗时为朝廷议大夫。吴兢的七世孙吴宣，迁居抚州。吴与弼的高祖吴景南，擅长诗赋，元代理学大儒吴澄曾为其诗集作序。曾祖吴审，“博学、诗藻清丽”。祖父吴泾，迁居崇仁。父亲吴溥，官到国子监司业，著有《古崖集》。出生于这样的家庭，对吴与弼的教育成长有着重要的影响。
吴与弼六岁入学，七岁学对句，八、九岁在乡学读书时，即已崭露头角，对文学、天文、律历、医卜均有所学。十六岁学诗赋，十八岁习以科举之业。业永乐已丑年，他年方十九，赴京侍奉时任国子监司业的父亲，得拜明代“三杨”之一的冼马杨溥为师。其时，在其父任所获读朱熹所编之《伊洛渊源录》，自谓“睹道统一脉之传”，“于是思自奋励，窃慕向焉，而尽焚当时举子文字，誓必至乎圣贤而后已”。谢绝与人交往，独处小楼二年，专心攻读《四书》、《五经》和洛学(以北宋哲学家、教育家程颢兄弟为首的学派)、闽学(以南宋哲学家、教育家朱熹为首的学派)两个学派的语录，无意进入仕途，决心以讲授理学，传播程、朱哲学思想为己任。
永乐九年(公元1411年)，吴与弼奉父母之命返乡完婚。在乡里，他一切行动都遵守儒家的礼仪规范。每次到京探望父亲，穿的都是布衣旧鞋。中年以后，家境日贫，他亲自下田耕作，自食其力。对不义之举，一概不为;对不义之财，一概不取。所以，四方求学者络绎不绝，他都谆谆教诲。甚至招待学生食宿，以此远近闻名。其学生胡九韶说：“惟先生遇患难仍能学习、进益，别的人则不免意志颓唐而懒怠下去”。
吴与弼一生不应科举，讲学家乡，屡荐不出。正统十一年(公元1446年)，由山西佥事何自学荐举入朝，后御史涂谦、抚州知府王宇也一再荐举，他都谢绝不出。景泰七年(公元1456年)，御史陈述又荐举他入阁讲学，帝下诏江西巡抚韩雍前往礼请，他又辞谢不出。天顺元年(公元1457年)，大臣石亨与大学士李贤上疏荐举，并派人前往征召吴与弼进京。第二年五月，授为左春坊左谕德，他上疏请辞。英宗召入文华殿，咨询其因，他以“浅陋之学，衰病之躯，有负期待之重，岂敢窃禄为官”力辞。后又多次上疏辞职，并由其子向吏部告以病重，才得以允准。辞官归里后，在呈英宗的谢表中力陈十事，说：“一曰崇圣志，二曰广圣学，三曰隆圣德，四曰子庶民，五曰谨命令，六曰敦教化，七曰清百僚，八曰齐庶政，九曰广言路，十曰君相一德同心。”词语恳切，获明英宗嘉许，派人护送回乡，并命地方官按月支给仓米，以示关怀。成化五年(公元1469年)，吴与弼病故于家。