刘秀思索片刻后说：“仲华说的很对，看来这事咱们还得好好的议一下，那卢芳怎么处理，放着他不管吗？虽然不至于养虎为患，但终究是个囊肿，让朕不得不时时的想着他。”
吴汉说：“既然陛下不准备剿灭卢芳，臣建议把边民内迁，施行坚壁清野之策。我们就留孤零零的几座城在卢芳周围，让他没东西可打。他若攻城，那必然损失惨重，他若不攻城，想绕过我们的边城进攻腹地，那我们就可以偷袭他的粮道，断他的后路。待到我们国力恢复，再兴兵讨伐。”
刘秀听完点点头说：“朕认为大司马这个方案可行，你们看呢？”
众臣皆附议。
随后刘秀让吴汉带领一万部队北上，接管刘歆的部队，并安排边民内迁，坚壁清野之事。
又令窦融找一些贫困郡县，试施行十五税一的方案，待到国力恢复一些后全国施行，以减轻百姓负担。
吴汉北上以后，将和卢芳接壤的百里内的百姓全部迁至内地，并将一切能被卢芳利用的物资搬入城中。
卢芳由于投靠了匈奴，需要连年向匈奴进贡，可他那弹丸之地，又哪里有那么多物产可以进贡呢？
自从刘秀消灭了隗嚣，令杜茂北上防御以后，卢芳就很少能从边境劫掠到物资。如今又到了进贡的日子，卢芳不得已再次袭扰汉朝边境。
可边境线早已经被吴汉清空了，卢芳转战多地，都没有丝毫收获。
卢芳不得已，令大将随昱镇守安定（今宁夏回族自治区固原市境内），自带大军五万攻打右扶风（今陕西省宝鸡市、西安市西部及咸阳市西部地区）。
吴汉在西线多年，对右扶风极为熟悉，再加上吴汉极高的指挥才能，将卢芳打的大败而归。
随昱看卢芳被汉军击败，认为卢芳是以卵击石，劝说卢芳向刘秀投降，可卢芳却不忍自己十余年的努力付之东流，断然拒绝。
随昱看卢芳心如磐石，便暗中调动兵马欲擒获卢芳献给刘秀。
就在动手前夕，被卢芳得知了消息，卢芳欲调兵平叛，怎奈城中的将领都被随昱偷偷换成了自己的心腹。卢芳大惊，不敢有丝毫犹豫，带领百余骑冲出城门，逃往北边匈奴王庭，寻求匈奴庇护。
随昱得知卢芳跑了，也不去追，向吴汉献城投降。
刘秀得知后，十分高兴，封随昱为五原太守，镌胡亭侯，食邑五原两千户（今内蒙古自治区包头市境内）。
刘秀遣使携带重金入匈奴，向匈奴单于购买卢芳首级。由于卢芳投靠匈奴十余年，且每年都向匈奴进贡，关系处的十分要好，匈奴单于不忍杀害卢芳。可匈奴单于看着刘秀送来的金银珠宝又十分眼馋，于是将卢芳驱逐出境。
卢芳犹如丧家之犬，于乡村之间东躲西藏。
建武十六年（公元40年）。
卢芳旧部闵堪、闵林两兄弟得知卢芳的消息后，亲自将卢芳接到盐州（今陕西省榆林市境内）。
在闵堪、闵林两兄弟的劝说下，卢芳决定向刘秀投降。
刘秀为了停止兵戈，封卢芳为代王，闵堪为代相，闵林为代太傅，并赐卢芳锦帛两万匹，令其和匈奴重新修好。
卢芳上书谢恩道：
昔日王莽乍起，废我大汉社稷，臣刘文伯不忍我大汉江山落入贼手（卢芳起兵时，谎称是汉武帝曾孙刘文伯），起兵于乱世之间，只愿将我大汉江山从莽贼手中夺回，从来没有奢求过个人荣辱。
臣以宗室的名义，意图光复汉室，诛灭国贼，所以臣西御羌、戎，北御匈奴。臣之所以称帝，并非是觊觎这皇帝大位，而是只为中兴大汉，夺回我大汉江山。而陛下称帝以后，臣本应退位，自贬帝号，可臣却被虚荣蒙蔽了双眼，导致这十多年来一直僭越汉帝之位，臣自知有罪，罪该万死。
陛下圣明烛照，德才冠绝古今，带领文武群贤扫平四海，功绩比肩高祖，恩泽传播远方。您以臣为宗室子弟的缘故，不但免除了臣的死罪，还封臣为代王，让臣替陛下镇守北方。
臣受陛下隆恩，无以回报，一定会为陛下守好国门，和匈奴修好，不辜负陛下厚恩。臣此将天子玉玺献于陛下，希望有朝一日能入京朝拜。
刘秀看过卢芳的上表，将卢芳曾用的玉玺收入宫中，回信给卢芳：