在功德林战犯管理所，人缘最好的是沈醉，这个当过军统局本部总务处少将处长年轻人（被俘时只有三十五岁）跟谁都能说到一块儿去，人缘最不好的，还真不是与他并称“军统三剑客”的徐远举和周养浩，而是被称为“土木系骨干”的黄埔一期生黄维。
黄维也知道自己人缘不好，所以直到1975年才最后一批被特赦，他在回忆录《我在功德林的改造生活》中这样记述：“后来我才了解到，第一批特赦时，周恩来总理点名要特赦我，我的名字是上了特赦名单的，并且已经通知了我在清华大学教书的大女儿来接我出去。可是被战犯管理所给顶住了，他们说我没有改造好，不同意特赦我，如果特赦我的话，别的战犯不服呀！实际情况也确实如此，那时不特赦我是对的。”
特赦黄维，周总理同意，但是战犯管理所不同意，“战犯同学”也不同意，他们宁肯反驳总理的意见也要“留下”黄维，可见他做的事情，确实引起了众怒。
在功德林学习改造的一百多个将军级战犯中，黄维当然不是罪过最大的，堪比戴笠徐恩曾的“别动总队”创始人康泽，却比黄维早特赦十年。黄维在郁闷之余，也曾进行过反思，然后就发现自己在特赦令宣布之前，自己确实做错了两件事。
第一次是功德林组织战犯学习座谈揭露蒋、宋、孔、陈的《四大家族》一书时，黄发言说：“我不同意这本书的说法，什么国民党的中央银行、中国银行、交通银行、农业银行都是四大家族的，都是蒋介石一家的！按照这种言论，那么现在的中国人民银行是谁家的？”
黄维大放厥词，军统特务出身的学习组长董益三等让黄维写出书面检查，黄维不但没有写检查，还写了一首侮辱小组成员的打油诗：“龙困浅滩遭虾戏，虎落平阳被犬欺。”
组员梁培璜大怒与与黄维争吵，董益三直接给了黄一个耳光，黄维出拳回击不着，自己反而跌倒在地，脸也碰破了。幸被管理员发现，及时制止了这场“内战”——沈醉回忆录说黄维反击，差点一拳打死董益三，显然是夸大其词了——真打架，有“书呆子”之称的黄维，又怎是军统特务董益三的对手？
黄维与董益三这场打斗，最后以全受批评结束，在首批特赦之前，黄维又犯了一个大错：功德林在战犯之间开展“我们应该坚持什么样的民族气节”的讨论，黄维竟又发言说“我要坚持文天祥的民族气节，决不向自己的敌人投降！”
这番话，文天祥的后人文强可以说，黄维在这个时候说出来，就太不合时宜了。这一句话说出来后，又受到功德林全体战犯接连三天的说理批判，最后黄维不得不服输。
从华北局社会部预审部门一室四科（科长是姚伦，《特赦1959》中王英光的历史原型之一，很多特赦者在回忆录中都多次提到他。）调入功德林战犯管理所的雷皓在《进京前后参与管教国民党战犯纪实》中也特别提到了黄维：“在功德林一号管押的国民党战犯黄维是表现最差的一个。他初到功德林时，抵触情绪很大，处处与管教人员对立。他认为自己成为阶下囚，就因打了败仗，所谓‘胜者为王，败者为寇’。他坚持自己‘无罪可悔’。在学习中，不是沉默不语，就是大放厥词；而且，对其他认罪悔过的战犯，还大肆讥讽挖苦。战犯们都认为他是个顽固不化，想带着花岗岩脑袋去见上帝的人物。”
这些战犯有的属于蒋介石的嫡系，有的是地方势力的军官，这些人员虽然都穿上了统一的囚服，但原有的矛盾并没有消除，正规军人蔑视特务分子，嫡系的看不起地方派系的，地方派系的又嫉恨嫡系的，当年同属蒋氏嫡系的杜聿明、王耀武、黄维、杨伯涛分属不同的派别，杜、王是何应钦派，黄、杨则属陈诚派，那场架实际是军统系打了陈诚土木系。
雷皓回忆的黄董之战与沈醉的描述不同：“黄维在学习中不仅不揭露蒋介石的罪行，反而发表攻击诽谤我党领袖的言论。事后，他又拒写检查。为此，战犯们群情激愤，黄维又口出狂言辱骂，学习组长董益三等便动手打了他，黄维也不肯示弱，结果双方打成一团。”
著名传记文学作家汪东林曾采访过黄维，他在《黄维其人其事》中记录了这样一件事：1976年“批邓”，黄维居然站上高台发言。
“黄维批邓”的事情被报道出去后，掀起了轩然大波：“政协很快收到匿名信和匿名电话，责问黄维是顽固的战争罪犯，且在淮海战役中败于邓大人手下，他有什么资格“批邓”？那些负责人干什么的？谁这样有眼无珠，脑子发昏到这种程度！”
群众的眼睛是雪亮的，黄维此举据说谁顶不住压力，念了别人代写的稿子，但无论如何，那些无中生有的批评，是从黄维嘴里说出来的，他自己也后悔了：“这件事使我内疚，本不想为而又不得不为，如果许我检讨，我可撰文登报声明。”
在这件事上，黄维表现得还真没有徐远举硬气，当年也有不少人找徐远举，让他诬陷别人，但他都坚决拒绝了。
据沈醉回忆，当年西南公安部让军统特务们交代过去的罪行，徐远举首先表示：“决不保留，决不扩大缩小，老老实实交代。”
徐远举背地里告诉沈醉：“以我们过去的所作所为而言，杀一个地下党是死罪，杀一百个也一样，不如痛痛快快一下子交代清楚还舒服些。”
沈醉在徐远举的启示下，也感到杀一个与一百个是同样可以处死，还不如“竹筒倒豆子”，一下倒出来。
沈醉在回忆录《人鬼之间·徐远举的特务生涯》这样描述与黄维面临同样难题的徐远举：“徐远举宁肯挨骂甚至挨打，也不肯听从他们的安排去写陷害别人的东西，他在那几年内心情非常烦躁，常和人争吵，那四个人的爪牙把黄维和许多军长一级的战犯，都移送到抚顺原日本战犯管理所去囚禁，只留下一些军统和中统等十多名搞特务的来给他们提供材料，准备利用他们过去的身份来诬蔑好人。徐对此气愤异常，认为这不是党的传统和光明作风。”
强硬的黄维只是对好人强硬，一旦遇到无底线的，他就守不住自己的底线了。很多人都对黄维的“骨气”表示“赞赏”，但是看了亲历者写出的材料，我们才发现有些事情不能只看表象，真实的黄维并没有那么有骨气，有些事情他自己也解释不清。
读者诸君看了这些史料，心中也会有一杆秤：黄维在某些事情上的表现，是不是还不如徐远举？