鱼俱罗二十岁时加入禁卫军，累次升迁至大都督。开皇九年(589年)，鱼俱罗跟随晋王杨广(隋炀帝)平定陈朝，因军功拜授开府，赐缣彩一千五百段。开皇十年(590年)，沈玄懀、高智慧等在江南发起叛乱，杨素因鱼俱罗英勇善战，便请他随军出征。鱼俱罗每次作战都立下战功，加授上开府、高唐县公、叠州总管。后因母亲病逝辞职回家为母守孝。等他回家走到扶风郡时，正巧遇到杨素率军去灵州道打击来犯的突厥人，杨素见到鱼俱罗非常高兴，便上奏要求鱼俱罗随军出征。后杨素大军与突厥军遭遇，鱼俱罗率领数名骑兵突击，鱼俱罗怒目圆睁，大声呼喊，所向披靡，左冲右突，往返如飞。鱼俱罗因对突厥作战有功，升任柱国，拜授丰州总管。刚开始的时候，突厥人数次入侵丰州劫掠，但全部都被鱼俱罗擒杀，从此以后突厥人畏惧鱼俱罗而离去，不敢再在塞上牧马。
炀帝在为藩王时，鱼俱罗的弟弟鱼赞，跟随在隋炀帝左右，累次升迁至大都督。隋炀帝继位后，拜授鱼赞为车骑将军。鱼赞生性凶残，虐待其部下，令左右炙肉，碰上不中意，就用竹签刺瞎眼睛。有温酒而温度不合适的，立即割断人家的舌头。隋炀帝因鱼赞是自己在藩国时的旧交，不忍心杀他，就对近臣们说：“弟弟既然如此，兄长也可想见。”因而召来鱼俱罗，责备他，把鱼赞从牢里放出来，让他带回去自己处理。鱼赞回到家里，喝毒药自杀。隋炀帝恐鱼俱罗心中不安，怕他生起边患，于是调任他为安州刺史。一年后，又调任赵郡太守。
后来鱼俱罗入朝拜见隋炀帝，与大臣们相聚。鱼俱罗到了东都洛阳，与将军梁伯隐有旧交，二人于是数次来往。鱼俱罗又从赵郡带回许多杂物，献给隋炀帝，隋炀帝不要，他就转送给权贵们。御史弹劾鱼俱罗以郡将身份交结朝中大臣。隋炀帝大怒，鱼俱罗与梁伯隐都坐罪除名。