对于廖磊来说，他最自豪的一件事便是建立了大别山根据地，并将它经营地十分出色。在当时，李宗仁组建边区游击队之时，便已经看中了大别山。这茫茫大山，正是游击队安身的好去处，但是大别山周边地区都是日军，要在大别山开辟一块新的根据地，实在不是一件容易的事。当时李宗仁叫来了廖磊和李品仙，但是他没有说话。被叫过来的这两人自然也知道李宗仁的意思，廖磊见没人说话，便站了出来，主动要求去大别山。廖磊来到大别山后，用心经营，最终让安徽成为了抗战时期桂系经营得最好的地区。
一九三九年冬天，廖磊在安徽病逝，前来慰问的除了国民党高官外，还有董必武等中共高级领导人。
廖磊虽然当了没几年的安徽省主席，但是社会各界对于他的评价都十分积极。张义纯曾经也当过安徽省主席，也在廖磊的手下任过职，他回忆起廖磊，赞不绝口。他说廖磊当官时十分公正清廉，在廖磊当总司令时，对于节省下来的兵饷，都会买军火来补充军备。有些人知道廖磊为人正直，于是便故意穿得很朴素，前来投靠他，廖磊便会委以重任，后来这些虚伪的人被别人揭穿后，便立即将他们革职查办。所以在廖磊当官的时候，安徽省物价稳定，人民生活十分安定。
白崇禧在晚年的时候，谈到廖磊也是十分赞赏。他回忆当时凇沪会战时，廖磊率军与日军激战，伤亡惨重，但是在撤退的时候，他的部队却依然秩序井然，从未强夺过百姓的财物。廖磊在担任安徽省主席的时候，兢兢业业，将安徽治理得井井有条，所以安徽省在抗战的时候，才能坚持八年，没有落入日军之手。
李宗仁在提到廖磊时，对他在大别山的经营成果十分赞赏，在廖磊死的时候，大别山中各项军政设施已经基本成型。