越南不是从宋朝才独立的，越南是在五代十国时期就独立的，即所谓吴朝。它脱离的是五代十国中的南汉。如果你对中国将百越丛生的今天南方地区并入中国固有疆域的过程有所了解，那么就会知道，南方即便到南朝时期，很多地方实际上只通水路，大片地区仍然是部族较多，这个时候郡县实际上就类似于殖民地中的堡垒，周围都是需要招抚和镇压的蛮族，这也很像当年鲁国与周边的淮夷、徐夷的关系一样，曲阜只是一个碉堡，周边的土地是必须一寸一寸蚕食下去的。
江南的很多郡县，基本上都是走江河湖海的路线进行运输和补给，而周边宜农耕地，大部分都不在据点控制下，但这些蛮族会适当的缴纳一些贡赋，所以承平时节看不出来，一旦出现越族叛乱，那么陆路基本断绝，只能走水路运输，越南这里更曹丹，只能走海路，海路的运输风险更大，维持住的可能性更低，唐军战斗力可以吧，但还是在交趾吃了亏，虽然后来血洗了叛乱的“越南人”（事实上当时还未形成），但城池还是丢过。
这种情况非常类似于清代西域诸城的状态，清军虽然能够调集外省军队击溃叛军，但维持在当地的驻军数量不足以抵御叛军，城池很容易沦陷。原因还是粮给不足以维持大军驻扎，周边农业区没有真正归化。
事实上，与越南同纬度的海南岛，在明史的记载里，也经常有黎族、水族、白族的叛乱，经常看到明军的治安官等将佐“斩首数千级”的报道。也就是说，直到明中期，中国在精耕细作、改土归流与常态驻军基础上的改造，尚未将海南岛这一纬度的“百越荆蛮”完全汉化。
另一个例子是郭沫若外祖父是杜琢章（1812-1857），清咸丰二年进士。榜下分发到贵州即用县，先后在龙泉、广顺、修文各县任县官，在任有政声。后调黄平州任州官。清咸丰七年，苗民起义，攻破黄平，杜琢章杀掉了自己4岁的女儿，继而自杀身亡。也就是说，从内陆看，云贵高原实际上比同纬度的丘陵、平原的湖南、江西、福建的汉化程度更低，而显然云贵高原更适合做南下经略越南的基地。改土归流知到清代中后期，仍然没有完全实现。南北朝差不多是4世纪至6、7世纪的样子，二百年勉勉强强把长江流域的腹地给归化了，隋唐与十国把湘赣闽实打实控制住了，宋代只能说继承了南汉的遗产，滇黔的开化还是不足，也就是四川与湖北湖南之间的情况有所改善。
以上两点，是从客观的军事与经济历史进程看的。以下两点，则主要看宋朝与越南的相对情况。
另外一点，就是汉人与汉元素的“蛮化”问题，这一点在南诏、大理国的历史中体现得比较明显，白蛮、乌蛮等等，他们之中受到汉人因素影响的，基本上都有了一定的治理能力，但基本政治结构又是蛮化的，所以他们的武力反而在某些条件下比中原军队强，这也是所谓“20万唐军南征失利”的重要原因之一。越南也有类似的情况，当地的豪强，本质上还是汉人，但他们在接受郡县制的同时，利用当地还存在的蛮族部落，给自己不服从郡县制的bug，很多叛乱，本质上不是部落自己所为，而是汉人地主利用这些部族进行的“蛮族叛乱”。这种情况在西亚中东很常见，就是头人弟煮嘛，外面套一层部落的壳子，实际上早就是封建主而非氏族贵族了。
最后是宋代自己的bug。为了防止拥兵自重，在南方几乎都是不设防城市，驻军也都非常少，基本上就是应付今天一到两个省范围内的反叛乱任务，两万以下甚至几千人的规模，所以侬智高能轻而易举的进犯两广。而想要经略越南，就必须保证后方稳定，而且有稳定的粮道，宋朝一旦这么做，就必然会打自己的脸，因为两广必然有大量驻军，也必须把很多粮食运输到广西去，因为红河三角洲的豪强们会联合牛吼蛮等搞你。这么做之前，首先得把宋朝首都从开封迁到广州来，否则赵官家不放心啊。重文轻武，在越南持续搞改土归流，结果就是打破这种态势，你得重武了。
明清特别是清朝时期能够成功进行改土归流，主要的原因是抓小放大，关注基层的情况。给你土司的名分，但不将其视作整体，各个击破。其实这个方法用到越南身上也一样，但是征服越南的意义不大。虽然越南的红河三角洲的面积和农业属性远高于山地间坑坑洼洼的土司领地，但越南开发周期更长，改土归流的地区，则早已“碎片化”，越南的国家意识打破，这个成本即便分摊到各种越南“土司”手里，也是需要更高成本的。
而且，越南当时已经成为相对听话的藩属国，没有太大必要去吞并。吞并越南还需要解决更多麻烦，那就是他们的邻国泰国与南方未解决的烂摊子占婆等等。改土归流的区域其实就是夹在成熟的汉化地区之间的鸡零狗碎，消灭他们的土官性，实际上也是对他们毗邻的汉化农业区的保护。满清入主中原后的扩张，本质上都是防御性的，例如与准噶尔的战争，或者继承明朝法统的，例如对西藏的宗主权的获取、对云南疆域的继承。越南对中国没有什么威胁，所以不打。但是台湾为什么打，因为上面有反清复明的明郑。