卫飒，字子产，河内脩武人。卫飒家境贫寒但喜欢学问，他跟着老师学习而没有粮食，经常靠做工来维持生存。王莽时，做历州刺史。
建武二年(26年)，他到大司徒邓禹府中任职。以举荐贤才处理繁重公务而被任侍御史、襄城令。他治政有声誉和政绩，升为桂阳太守。桂阳与交州交界，受交州影响很大，百姓不懂得礼法。卫飒上任以后，兴建学校，整治教化，制定婚姻的礼规。一年时间，风气大变。
原先含沤、演阳、曲江三县属于越地，汉光武帝刘秀平定越地后，才收归桂阳。百姓住在深山，靠着溪水，沿袭过去的风俗习惯，不交田租。离郡远的地方，有的将近千里。官吏往来办事，总是调发百姓驾船接送，称之为“传役”。每一位官吏外出，徭役摊派到好几家，百姓为其所苦。卫飒于是凿通五百多里的山道，修驿站，设邮馆。这样减少了劳役，也杜绝了官吏的奸猾。外流的百姓慢慢回来，渐渐聚成乡镇，这才要他们像平民一样交纳赋税。
另外，耒阳县出产铁矿石，其他郡的百姓经常聚在一起，私下炼铁，结果招来亡命之徒，导致很多奸盗的事情。卫飒于是上书请设立负责铸铁的官员，不允许私人铸铁，每年增加的收入达五百多万。卫飒善于处理民事，体恤民情。他做官好比治理自己家一样，他所施行的政策，无一不合乎事理。他任职十年，郡治太平。
建武二十五年(49年)，卫飒被朝廷征还。刘秀想任命他为少府，正赶上他生病，没法授职管事，刘秀命他以桂阳太守身份回家休养，等候诏书。过了两年，卫飒带病到朝廷，说自己病重，刘秀才收回他的印绶，赐给他十万钱。后来他在家中去世。