在匈奴留居期间，张骞见到到了五花八门的各族流亡者。其中既有西域人，也有来自东北亚的渔猎民族，还有不少流亡匈奴的中原人。他们有的是因为丈夫或者父亲从军征讨匈奴、北伐不归，所以有家人会主动去塞外找他们，与男眷团聚。另有的是为了逃避沉重徭役、兵役和刑罚的居民或逃犯，有的是不堪主人压迫、想去匈奴中追寻新生活的奴婢，还有的是躲避秦末战乱的秦人后裔。
除战争活动中前往塞外的人群，和亲本身也是汉朝人口流向匈奴的重要过程。每次和亲公主前往匈奴，都会带上一定数量的女眷和工匠。他们能帮助和亲公主度过初到异国的文化冲击期，逐步适应草原上的生活。一般来说都很难回到中原，所以他们会在高原上落地生根，为新主人服务。
蒙古国境内出土的匈奴时代丝织物残骸
人物明显来自截然不同的族群
同时代的汉朝高层，在宫廷对策中都承认了这些人的存在，约100年后的郎中侯应在《对问罢边备事状》中指出：
往者从军多没不还者，子孙贫困，一旦亡出，从其亲戚，六也。又边人奴婢愁苦，欲亡者多，曰“闻匈奴中乐，无奈候望急何！”然时有亡出塞者，七也。盗贼桀黠，群辈犯法，如其窘急，亡走北出，则不可制，八也......
秦汉之交的乱世 让不少中原流亡者进入匈奴境内
在各种逃兵和逃户，还有非常特殊的一类中原人，那就是流亡异域的中原贵族。中原诸侯的王子皇孙流落到戎狄蛮夷等周边民族中的情形曾多次发生。早在春秋时代，一些在中原政治斗争中失利的贵族会前往戎狄部落避难或者求助。比如晋文公重耳为了躲避迫害，逃到了他母亲的戎族部落。
到了秦末汉初，类似情形也出现在大汉开国功臣身上。楚汉战争之际，刘邦对归汉的有识之士委以重任，还分封了几个诸侯王。为确保中央皇权的稳固，刘邦采取了一系列排除异己的措施。齐王韩信、淮南王英布、前燕王臧荼、梁王彭越皆被处死。剩下韩王信、燕王卢绾、以及前燕王臧荼之子臧衍等人，便在严酷的政治高压下做出抉择。
多名汉初的异姓王 也被迫逃亡匈奴境内
从表面来看，是匈奴入侵马邑导致了韩王信投降匈奴。燕王卢綰的变节貌似是受人教唆。其实，匈奴攻围马邑只是加快韩王信投靠匈奴的步伐。汉高祖对诸侯王的猜疑，才是迫使诸侯王们投降匈奴的真正原因。
比如韩颓当的祖先韩王信，是战国时代的韩国贵族后裔、韩襄王庶孙。在秦末混战中，作为韩国正统后代的他可以号令韩国遗民，对汉王的事业有用。汉统一中原后，韩王信的贵族身份已失去利用价值。但韩王信仍然占据着韩国这一军事要地，自然会被刘邦列为需要提防的对象。当汉高祖要他迁至太原以北时，他立即意识到汉高祖的用意。一面对刘邦表忠心，另一面他早已联系匈奴，为自己留下后路。后来，匈奴的冒顿单于大举围困韩信，虽然汉朝派兵救援韩王信，但不断和匈奴人暗中联络的情况终究败露。在汉朝的巨大压力下，已经深感不被信任的韩王信索性投降了匈奴，带着马邑城反叛汉朝。
冒顿单于时代的匈奴 经常收纳西汉的异姓王投诚
公元前196年，韩王信与匈奴军队在参合与汉军对垒时，汉朝的柴武将军曾劝韩王信归国。韩王信坚决不从，并回复柴将军说：当年没有保住荥阳是我的第一宗罪，以马邑投降外族是第二宗罪，现在又为外族领兵，与柴将军拼命是第三宗罪。文种和范蠡没做错事，还是一个被杀一个外逃，更何况自己这种带罪之人呢？
此外，出身平民的燕王卢绾曾与刘邦同日出生。后来追随高祖出生入死，所以在汉初的非刘姓诸侯中最受高祖宠爱。但早年亲密的关系并没有保住他的地位。公元前196年，与匈奴有联系的陈豨在代地谋反，燕王卢绾从东北打击叛军。陈豨抵挡不住，于是派王黄到匈奴求援。卢绾亦派使者张胜到匈奴，阻止匈奴对叛军的援助。张胜一到匈奴，反被故燕王臧荼之子臧衍洗脑：现在的燕王之所以受到信任，是因为对内还有其他的诸王，对外燕地是抗胡前线。等其他诸侯逐步被灭，那么把守要地的燕王的灾难就不远了。
燕王卢绾也是投靠匈奴的汉初贵胄
两头通气的行为终究走漏了风声。后来匈奴降兵对汉高祖交代了有关情况，直接招致了高祖对燕的军事讨伐。只是卢绾还是把铲除异姓王与功臣的暴虐归咎于吕后，他仍然念及与汉高祖的旧情。即使被被汉军追击至长城下时，他仍然抱有侥幸心理：等到刘邦恢复健康了，我一定要亲自去谢罪。直到汉高祖死后一切希望断绝了，他才率部下万余人投降匈奴。因为地理位置靠近东胡，从而被匈奴封为东胡卢王。
在彻底叛离汉朝后，韩王信带着和他一起来到此地的百姓修建了颓当城，保留着自己的传统和语言风俗。这些军人移民也构成了匈奴帝国中的一个汉人小聚落。在这样的环境中，韩颓当既保持了匈奴人的骁勇善战特性，同时又能习得汉文化的礼仪传统，为日后回归汉朝留下了活路，并在平定七国之乱中战功赫赫。到了韩颓当孙辈的时代，出现了韩说和韩嫣。前者曾经追随卫青出塞讨伐匈奴，后者则是汉武帝的男宠，享受过极其崇高的荣宠。
由于习俗差距 部分汉朝流亡者又在稍后背离匈奴
不过，汉景帝时代的匈奴内部也出现分裂动荡。景帝趁机分封其他七位归降的匈奴贵族为侯，让他们在河北地区建立了桓侯国、安陵侯国、逎侯国、容城侯国、易侯国、范阳侯国、翕侯国等七个侯国。从归降贵族的姓名上看，这七个匈奴首领中，很可能也有祖先没入匈奴，但是后代回归汉朝的贵族后裔。卢绾的后人卢它之也选择了回归中原、同样获得了封侯的结局。命运的轮回还是将卢氏家族的子孙带回中原。
虽然《大宛列传》等传记都没有记载张骞在匈奴中具体交游，但形形色色的流亡者和张骞并存于同一时空当中。同为天涯沦落人，彼此很难不产生交集。这些人的存在也能证明一点，那就是和大扩张之前的汉王朝相比，活动在内亚草原上的游牧政权有更广阔的国际视野和多民族属性。张骞当年遭遇过的这些流亡者，日后还会多次出现在汉匈交战的沙场上......