早年经历
赵建德是南越明王赵婴齐的长子，其母橙氏是南越（今广东揭阳）人，越族橙姓，通常称她为“揭阳橙女“。橙氏原是当地植橙世家之女，赵婴齐在前往汉朝当人质之前娶她为妻，生下长子赵建德。建元六年（公元前135年），赵婴齐被其父南越文王赵眜送往汉朝当人质，又娶邯郸樛氏做姬妾，生下儿子赵兴和赵次公。
元狩元年（公元前122年），赵眜去世，赵婴齐继承王位。赵婴齐继位后，没有按常理把长子赵建德立为太子、把妻子橙氏立为王后。而是把赵兴立为太子，把爱妾樛氏立为王后（樛王后）。
继承王位
元鼎四年（公元前113年），赵婴齐去世，年幼的赵兴继承王位，成为南越国第四代王，其生母樛王后当上王太后 ，赵建德获封术阳侯。同年，汉武帝派安国少季出使南越国，前往告谕赵兴和樛太后，让他们比照内地诸侯进京朝拜汉武帝。此时赵兴和来自中原的樛太后都愿意归属汉朝，但掌握南越国实权的丞相吕嘉却极力反对，并由此产生叛乱之心。
元鼎五年（公元前112年），汉武帝派韩千秋和樛太后的弟弟樛乐，率兵两千前往南越国准备刺杀吕嘉。当韩千秋和樛乐进入南越国之后，吕嘉先发制人，领兵攻入王宫，杀害赵兴、樛太后和汉朝的使者，同时拥立赵建德为南越王，并派人告知苍梧王赵光以及南越国属下各郡县官员。这时韩千秋的军队进入南越境内，攻下几个边境城镇。随后，南越国人佯装不抵抗，并供给饮食，让韩千秋的军队顺利前进，在走到离番禺四十里的地方，南越国突发奇兵进攻韩千秋的军队，把他们全部消灭。
接着吕嘉派人把汉朝使者的符节用木匣装好，并附上一封假装向汉朝谢罪的信，置于汉越边境上，同时派兵在南越国边境的各个要塞严加防守。汉武帝得知后，非常震怒，他一方面抚恤死难者的亲属，封韩千秋的儿子韩延年为成安侯，封樛乐的儿子樛广德为龙亢侯；一方面下达出兵南越国的诏书。
同年秋天，汉武帝调遣罪人和江淮以南的水兵共十万人，兵分五路进攻南越国。第一路卫尉路博德为伏波将军，从长沙国桂阳（今湖南境内）出兵，直下湟水；第二路主爵都尉杨仆为楼船将军，从豫章郡（今江西境内）出兵，直下横浦；第三路和第四路是归降汉朝受封侯爵的两位南越国人为戈船将军和下厉将军，从零陵（今湖南境内）出兵，然后一路直下漓水（今广西漓江），一路直抵苍梧（今广西境内）；第五路以驰义侯利用巴蜀的罪人，调动夜郎国的军队，直下牂柯江；最后都在番禺会师。