放逐”岭南之后，赵旉最大的收获就是耐心有了长足的进步，而且没满十六岁的他也确实等得起。
赵旉麾下人才济济，即使已经“自残肢体”，在朝廷的高官眼里依然有很大的威胁（特别是在王府移至岭南之前）。所以，就算只是为了削弱卫王府的势力，他们大挖墙角也是必然的。然而，那些老人还好说，对于在新式教育下成长起来的年轻人才，朝廷纵然许了高官厚禄，也才挖走不到三分之一，而且与越基层越忠诚的老人们不同，年轻人中却反而是最高端的人才越难挖。
对此赵旉是早有预料，要不然当初他也不敢向朝廷妥协了，大局为重固然没错，但赵旉的觉悟还没高到连自己的小命都愿放弃。其实伏笔早在他当初大办新式教育时就早已埋下，这些年轻人虽然才智与能力都被培养了出来，却从未学过四书五经，也基本不会诗词书画，他们就算接受了朝廷的任命，也很难在士大夫的圈子里如鱼得水，所以只要不是太笨的家伙，就算心中并不怎么忠于赵旉，也不敢冒险跳进不知深浅的水潭。至于那些脑子不好的，走就走好了，赵旉管他们作甚？当然，其中因为自学而熟习儒家经典与诗词书画的特例也不是没有，不过却只能算是九牛一毛了。
注1：对此赵旉劝诫过多次，但王彦酒瘾甚重，又没岳飞那么强的自制力（岳飞年轻时酗酒成性，有次发酒疯差点将同僚打死，赵构得知后劝诫了他几句，从此岳飞就滴酒不沾，这种自制力实在可怕。），能够保证不因醉酒误事，就已经相当难得了
注2：李显忠、魏胜、张子盖、沈大用、孙默等一大帮人都超过了二十岁，算不上是少年天才了