诸葛亮十分尊敬待德公，每次探访庞德公，都独自一人拜见于床下。后来诸葛亮逐渐得到庞德公的注意和重视。
庞德公是东汉末年襄阳名士，论学识名望，当在许多幕僚之上，但他一生未入仕。不是他没有做官的机遇，而是他不愿做。
刘表当时治荆州，治所就在襄阳。由于荆州没有战乱，加上土地丰饶，全国有十余万人迁入荆州，这中间也有一大批才华出众的人，如诸葛亮、王粲、徐庶等，或求学、或求仕。这就使得襄阳成为全国人才最集中的地方，也是学术交流最为活跃的地方。但刘表不识人才，诸葛亮、徐庶等就在他眼鼻子底下当隐士，而王粲在他麾下当了个小官，则也发挥不了作用。
刘表统治的荆州，沃野千里，带甲十余万，在全国是一支重要的政治和军事力量。刘表虽无统一大志，但他也不愿看到自己的势力被削弱。刘表如荆州后，依靠的是蒯良、蒯越、蔡瑁等襄阳大士族。这些人可同享荣华富贵，但不能安邦定国。刘表采取的是雍容自保，坐观时变的方针。但当时荆州已经成为各种政治势力争夺的焦点。曹操在北方基本平定的情况下，正准备挥师南下，而孙权则虎视江汉，早欲将荆襄据为己有。刘表正是看到了这一点，他深感无贤人辅佐，于是乎，他把希望寄托杂在名重天下的庞德公。
刘表多次登门求贤，但一次次的遭到谢绝。有一次刘表对庞德公说：“先生苦居畎亩而不肯官禄，后世何以遗子孙乎?”庞德公回答说：“世人皆遗之以危，今独遗之以安，虽所遗不同，未为无所遗也。”意思是说，有人出来做官，参加混战，这不是把危险留给子孙吗!我不做官，却把平安留给子孙，虽然遗留的内容不同，但并不是没有遗留啊!对于庞德公的这种态度，刘表只好叹息而去。庞德公为了躲避刘表再来找他，干脆把家搬到鹿门山，以采药自乐。
庞德公为何拒绝当官呢?论理，古人读书就是为了入仕。说大点可以济世救国，说小点可以光宗耀祖。历代圣贤莫不如此。尽管庞德公有“遗之以安”之说，那则是对付刘表的托辞。由此，我们只能设想，庞德公并非不想做官，而是未寻着明主。他的学生诸葛亮、侄儿庞统被刘备请去，并没有听到他的反对意见，相反，他把诸葛亮称为“卧龙”，庞统称为“凤雏”，为他们的出山造了大量舆论。所以，庞德公拒绝做官，仅仅是拒绝在刘表手下做官。
庞德公的这个选择也许是对的。假设他答应了刘表，在刘表手下做个高级幕僚，且不论能否象荀彧那样在曹操手下发挥作用，恐怕官位未稳，就已经成了刘表的继承人刘琮降曹的陪伴人了。王粲不就是走的这条路么?