1951年2月，负责在藏北阻止解放大军进藏的绕噶厦担心部队的进攻，想往后方撤，所以找了个要去保卫喇嘛的借口，向噶厦禀报道："喇嘛及其随从现住亚东，他身边只有少量的警卫随员，后藏地区有何敌情难料。我欲亲率第二代本所属部分兵员开往日喀则和江孜交界处，以防万一。"
拉萨的代理司伦和代理噶伦经过研究，答复道："扎什伦布寺嘉荫扎萨喇嘛、日喀则宗总管台吉和堪穷报告说'后藏地区尚无军情'。去年昌都失守后，上下霍尔地区和硕搬督宗、达尔宗、洛隆宗等地混乱不堪，故文武总管亲临要地附近很必要，请你暂住那曲，主持当地日常工作。另外，已通知卸任昌都总管拉鲁噶伦暂住达尔宗或工布江达宗，不要径直返回拉萨。"
噶厦派信使将批文火速送到那曲时，绕噶厦噶伦早已慌张地离开那曲，经羊八井逃到日喀则去了。藏北总管更是惶恐不安，向噶厦禀报说："对汉族官员迟玉锐经多次婉言劝阻，他依然坚持要去拉萨，若继续在此地纠缠，实在难保其不发生意外，如何是好，请明示。"
噶厦政府收到报告后，专派五品俗官旦加前往那曲。他得到的指令是，佯装要从那曲去拉萨，实际是将秘书迟玉锐等人带到乃东宗软禁。乃东是西藏地方政府流放罪犯的地方。
旦加带着一个班的藏兵"护送"迟玉锐一行从黑河出发，一路上翻山越岭，走了7天，到达了乃东。沿途除在墨竹工卡住宿时有人给迟玉锐他们送茶饭外，其他路段走的都是与民众隔离的山路。偶尔遇到村庄，民众也只是远远张望，不敢接近。
迟玉锐从藏兵谈论时得知，噶厦原准备把他们押往山南与不丹交界处的野人沟囚禁处决，后因昌都解放，形势向有利于和谈的方向变化，噶厦才改变了原来的决定，把代表团4名汉人骗往乃东软禁。
途中迟玉锐果然发现走的方向不是去拉萨的路，他曾几次质问旦加，指责噶厦"欺骗、分裂代表团"是破坏和平谈判的行为，强烈要求去拉萨。
迟玉锐怒斥旦加等人："为何把我带到这偏僻山沟来？我是遵照上级指示，一定要到拉萨去向西藏上层人士解说和谈政策的，绝不会伤害群众，劝你们别耽误时机，若误了和谈大事，后果得由你们负责。现在即刻放我去拉萨还来得及，前事可既往不咎。"
旦加却始终用一副恳求的口气说："这是噶厦的指示，我官小职微，不敢违背，但我可以保证，我们没有伤害你们之意。"他还说："乃东是山南总管所在地，是个好地方，气候温和，去拉萨也方便，我到乃东把你们交给总管，我就没有责任了。"
在这种情况下，迟玉锐只好让步，到乃东后再说。
到乃东后，迟玉锐等四人被软禁在一座孤楼里，消息闭塞。有时山南总管府的官员安排民众送来米、面、肉、油、蛋、干果、毯鲁和饲料、饲草等，迟玉锐都以高价付款。
虽然生活上款待得较为殷勤，但行动上很不自由，一个班的藏兵驻守在走廊里，名为保护，实为监视。藏兵不准他们下楼走动，散步只准在房顶的平台上，更不准接触民众；上厕所，下河洗衣服都有藏兵跟随。其实跟监禁无异。
旦加将迟玉锐交乃东宗政府看管后，自己便专程返回拉萨向噶厦汇报。噶厦对翻译诺布次仁和旦加面示："在藏汉和谈未确定之前，坚决拦阻代表团的官员进入拉萨，不放行一人，这是政府的决定，因此在过去数月里迟先生不得不被阻拦。"
迟玉锐跟其他三人分析了形势：西藏噶厦政府定然已经知道昌都解放的消息，这对噶厦必然震动很大，主和派和主逃派内部矛盾加深。在处置他们四人的态度上，由原来计划送野人沟囚禁处决，改变到山南乃东软禁，说明西藏噶厦政府幻想以武力对抗解放的希望已经破灭，正处于犹豫、彷徨、拖延和观察形势阶段。
但昌都的解放对他们起到了决定性的支援作用，它迫使噶厦不敢轻易处决他们。否则，他们的处境也将像前几次的劝和代表一样，不是被逐回，就是被谋害。据此，他们决定采取强硬的态度，坚决突破软禁，摆脱封锁，主动争取早日到拉萨与代表团会合。
他们一面向山南总管堪穷土登切绕宣传中央的民族政策、宗教政策和和平解放西藏的方针，一面向噶厦政府提出抗议，指出他们欺骗分化瓦解代表团，非法拘禁4人，说明噶厦无和谈诚意。他们要求去拉萨的代表团成员到乃东会合，然后一起返回昌都，否则他们4人将有权自行回昌都。迟玉锐4人同时争取接触民众，了解情况，向社会公开代表团的遭遇，让他们知道噶厦分裂、拘禁代表团成员，破坏和平谈判，以此争取主动。
事后，他们又统一了思想，不论噶厦有无和谈诚意，派人来否，他们都要按和平谈判精神，设法突破阻拦，强行前往拉萨。于是，他们与堪穷制定了书面协议：一个月内拉萨当局不派人来解决代表团会合问题，就证明拉萨当局无和谈诚意，四人便自行回昌都，堪穷不得阻拦。
土登切绕答应在协议上签字，并立即呈送噶厦。
"协议"订立后，堪穷并不相信"协议"到期能真正实行，噶厦不派人来，迟玉锐四人也不一定坚决回昌都，所以他温和地劝他们耐心等待，并透露噶厦确实已派代表去北京和谈。
迟玉锐质问："那为什么还软禁我们？"见对方无言以对，迟玉锐进一步提出，"你应允许我们到附近散步，到泽当小集市采购物品。"堪穷没有办法，只好同意。在生活上对他们更为殷勤，并几次设宴款待。
恰在此时，夏日仓活佛派一名小喇嘛化装成乞丐来到乃东迟玉锐的软禁处，将夏日仓活佛让他侄儿多尔吉写的汉文信偷偷递交给了迟玉锐，并告诉他，当才已逃往印度，喇嘛逃到亚东，拉萨人心惶惶，两名司曹洛桑扎西和鲁康娃终日慌恐不安，传说喇嘛派了3名代表从昌都、两名代表从印度去北京谈判，要他们设法尽快去拉萨。
迟玉锐去泽当购物时也听到此消息，加之"协议"期限将满，在一次宴会上，堪穷为了稳住他们，也向他们透露了噶厦确实已派代表去北京，现正在路上的消息。
迟玉锐4人一起分析了形势，认为达噶厦对和谈有所松动，拉萨噶厦两司曹摄政可能是面对现实，派代表去北京和谈可能也是确实的。据此情况，他们决定协议期满即强行去拉萨，同时做好各项准备。