网络安全有一个现实问题，就是我们很难从中获得可靠的行业分析。当然，这主要说的是如何以安全为对象，以组织为载体，从中提炼出更高层次的统计数据。Venture in Security的作者Ross Haleliuk对此表示：“我们为什么很难找到可靠的安全信息来源？同时，我们为什么不应该凭空捏造数据？这是安全从业人员需要去思考的内容。”
将安全视为一个行业
Haleliuk说，当他将安全视为一个行业时，会想到这几个问题：安全部门有多少职位空缺？哪些类型的安全工作仍然空缺？美国的安全行业是什么样的？在美国以外，安全行业又是什么样？此外，在全球范围内，网络犯罪造成的损失总额是多少？哪些组织受到的影响最大？有多少公司在安全事故后倒闭了？等等。
而真正的问题在于，尽管人们能在网上查到一些数据，但往往这些数据与事实相差甚远。比如，根据Statista的估计，2023年美国网络犯罪成本约为3200亿美元，但根据Cybersecurity Ventures的预测，2023年全球网络犯罪成本预计将达到8万亿美元，两者数据之间差了整整25倍。
“当然，一个是全球数字，另一个是专注于美国本土的数字，但我预计美国网络犯罪所占全球的比例应该不止4%，因为美国是网络攻击的最大目标。此外，关于网络安全人才短缺的数据也是令人疑惑不解的。仅在2023年，人才短缺就从1月的340万人增加到了10月的400万人。只能说目前尚不清楚是什么领域的变化导致了50万人的需求，更不要说还有经济环境、安全预算等负面情况的加持了。”
因此，为了弄清这些统计数据的真实情况以及是否可信，业内有必要讨论一下这些数据背后的主体和驱动它们的动机，以及如何建立确保数据有效性的流程，否则市面上所生产的数据将不再拥有可信度。
以下是Haleliuk对“数据制造主体”的一些看法。
行业分析公司
Haleliuk表示，行业分析公司的职责是了解行业、产品、人员和趋势。行业分析师不像传统的网络安全分析师，他们所拥有的是在企业环境中的个人工作经验，而并非重要的技术领域专业知识，一般他们的知识面涵盖了技术、业务和管理。
通常而言，分析师会通过以下方式为网络安全生态系统增值：
1、出版关于市场趋势、技术和行业未来的研究；
2、发布供应商简报，与市场上不同的公司进行交谈，了解供应商的产品和服务；
3、回答供应商关于市场、产品和市场战略走向的问题；
4、就供应商、产品以及所面临的问题，提出最有效的方法和建议；
5、组织活动和网络研讨会。
Haleliuk表示，行业分析公司在市场上有着独特的作用，他们能同服务两类客户：企业用户和厂商。“两个因素导致了行业分析公司的主观性。首先，行业分析师在一个系统中运作，这个系统在设计上会产生巨大的利益冲突。而分析公司会从利益截然相反的两方拿钱：一方是为让别人对其产品产生需求而付费的厂商；另一方是为获得客观建议而付费的企业用户。”
此外，行业分析师对他们所评估的厂商信息是有限的。当分析师撰写安全工具的评论时，他们会根据产品演示和部分企业用户的建议来撰写。在市场的作用下，厂商与用户的比例可能高达5:1。而这就是问题所在，分析师在没有亲自比对过的情况下就发表评论，这对用户和业内人士的价值是有限的。
然而，行业分析公司并不是旨在了解网络安全和该领域动态的研究机构；相反，他们的存在是为了回答付费客户的问题。这些问题的方向自然会决定分析师将把时间花费在哪儿（通常是细分市场和产品）。
培训和认证机构
Haleliuk说，培训和认证机构已成为了网络安全行业的有力代言人。在过去的几年里，各类培训机构一直在进行年度网络劳动力研究。2023年10月，14865名网络安全专业人士在某平台上分享了他们对劳动力状况的独特看法。而这就引出了一个有趣的问题：激励机制。
作为一家培训机构，该平台拥有所有的激励措施，可以让更多的人注册认证并完成其课程。而这就是为什么人们会怀疑“所谓的网络安全人才短缺”，其背后的数据正来源于该平台的调查，并且扭曲了一定的真实性。“可以说，该培训机构才是‘全行业需要雇佣400万网络安全从业者’的主要推动者，是真正的恐慌制造者。”
Ben Rothke最近发表了一篇标题为“数百万信息安全工作岗位的弥天大谎”的文章。他在文章中写道：“培训机构的主要数据来源是调查，而单凭调查，即使能与二级数据来源相结合，也不足以获得有效的可操作数据。此外，他们客户群里，47%的受访者是非管理中层、初级员工和独立承包商。这些人对招聘根本不了解。”
因此，Haleliuk认为，培训提供商有充分的动机会去修改一些数据，从而创造对培训的需求。其次，根据约15000名处于职业生涯不同阶段安全从业者的反应，来推断全球对安全专业人员的需求，这是一个非常值得怀疑的问题。
独立分析师和博客
关于播客，Haleliuk是这么认为，他说自己正努力将个人博客做成一个公正的平台。结果，尽管他在每个帖子上所花的时间是5到25个小时，但他没有时间让其变得完全客观。因此，他认为这一领域的其他独立博主也是如此。“我们都有自己的观点和见解，但没有人会分配数周的时间只为完善一篇文章，并去验证每一个来源。”
Haleliuk表示，在浏览博客时，重要的是去探究作者的动机，并注意这些动机是如何直接或间接影响作者思维方向和观点的。比如，就他自己而言，Haleliuk会将博客作为一种分享平台，其包含了Haleliuk对安全行业的学习、观点和意见，以及他在构建产品和投资安全初创公司时的经验。
“在我的博客中，我会提供一个安全从业者的视角，我会根据周围同僚对同一问题的看法而进行各式各样的总结。显然，网络往往会放大我们的想法，所以每当个人博客的作者对他们的受众进行调查时，都必须要注意，不要将其作为行业的客观视角来呈现，因为同一个观点并不适用于每一个行业、每一个个体。”
当然，还有许多博客会接受安全厂商的赞助。虽然不是所有这样的做法都会影响内容的客观性，但界线往往会模糊。如果厂商赞助了一篇关于其产品类别的分析文章，独立博客们还能做到客观吗？只能说见仁见智吧。
数据聚合
Haleliuk说，数据聚合并不是一个可靠的分析来源，有些数据聚合的信息图表包含了大量错误，并且经常相互矛盾；另外数据聚合本身也不并非数据来源。在大多数情况下，其所提供的数据来自于其他地方，其中许多都是公开的。而问题是，当人们在谷歌上查询有关安全市场规模或网络犯罪损失金额的问题时，这些图表通常会出现在第一页。
总之，各类数据聚合的图表不是可靠的数据来源。它们看起来可能很有吸引力，但缺乏严谨性，通常基于直线预测。
媒体公司
对于媒体公司，Haleliuk认为，报道安全的媒体公司可以分为三类：以网络安全为重点的媒体，如《黑暗阅读》和《安全周刊》；科技媒体，如TechCrunch和VentureBeat；以及广泛媒体，例如《福布斯》和《华尔街日报》。
一些以网络安全和技术为重点的媒体，会经常雇佣具有技术背景甚至拥有计算机科学学位的记者。这是因为网络安全领域的知识会影响记者识别真实性的能力。比如2023年，有消息称，一架军用人工智能无人机杀死了一名操作员。这个消息像野火一样蔓延开来，后来却被揭穿为误解：这只是一个安全假设，但记者理解错了。
再比如某新闻在社交媒体上被疯狂传播，其标题简直耸人听闻：小心，你的电动牙刷可能被黑客入侵了。这一次的内容是关于300万支电动牙刷被用于DDoS攻击。几天后，在许多安全从业者的抵制下，我们了解到这只是一个假设的场景，而不是实际的攻击。
Haleliuk补充道：“今年早些时候，有报道说：‘在网络威胁不断增加的情况下，摩根大通每天用150亿美元的国防武库与450亿次黑客攻击作斗争’。显然，450亿这个数字并不完全正确，但大多数人永远不会知道这一点，大多数记者也没有质疑这位摩根大通高管所提供的数字。”
Haleliuk表示，这些误解不胜枚举，绝大多数错误都是真实的、无意的、看似无害的遗漏。然而，当我们下次听到新的网络安全攻击时，我们必须小心：这很可能是一场骗局。更糟糕的是，当我们应该对自己的数字安全习惯提高警惕时，我们可能会对这些头条新闻感到麻木，不再关注安全问题。
Haleliuk说，虽然一些媒体公司专注于独立报道，但其他媒体公司则采取了更为固执己见的立场，并将自己定位成与分析公司类似的公司。比如Cybersecurity Ventures，其将自己描述为“全球网络经济领域的领先研究机构，全球网络安全事件、数据和统计信息的可靠来源”。这里的“研究机构”是关键，因为Cybersecurity Ventures正是以这一点而闻名的。
正如该公司自豪地在其网站上所声称的那样：“据Cybersecurity Ventures称是网络安全界最流行的短语之一。”事实上，Cybersecurity Ventures发表过许多关于安全行业最大胆、最常被分享的数据和预测。比如，其预测“到2023年，网络犯罪将给世界造成8万亿美元的损失”，这一说法已被福布斯和各种其他媒体所报道；另一个预测“全球将有350万个网络安全职位空缺”已被CNBC和其他媒体所报道。此外，Cybersecurity Ventures还发表过关于加密货币犯罪、网络保险、互联网用户数量等预测。
Haleliuk对此表示：“这些预测背后可能确实有着可靠的方法论，但问题在于，这些数字的来源在哪儿？也就是说其缺乏有效依据。比如以网络犯罪的估计成本为例，很难想象10.5万亿美元的数据是从哪里来的，也很难想象Cybersecurity Ventures是如何汇总政府或国际组织所访问不到的数据的。”
从另一个角度来看，媒体一定有足够的动机来分享这巨大的新闻（10.5万亿美元的损失！），行业内的厂商很快就会将这些数字纳入到他们的营销材料中。但这些报告和预测的作者是否考虑到了生态系统中其他的参与者？如政府、安全公司、保险公司和其他人，他们正在做什么？他们了解勒索软件所依赖的商业模式吗？他们能依赖这些消息来源吗？所以，只能说网络安全并不是一个静态的领域，如果不了解众多因素是如何协同作用的，任何预测都只会是凭空产生的数字。
Haleliuk表示，网络安全行业对“什么可以被视为研究”设定了非常低的标准。“很多人看待数据的视角是很肤浅的。有些是出于兴奋，有些是出于愤怒，还有些则是想出售更多的工具，只要能满足个人意愿，就能接受任何数据。”
其他来源
其他还有一些数据发布主体，包括：
1、风险投资公司：风险投资公司经常会创建反映其投资主题的数据。根据风险投资公司的不同，其报告的深度和有用性各不相同。值得注意的是，风险投资公司公开分享的观点旨在塑造行业的现在和未来，而不是提供公正的见解。
2、投资银行：Momentum Cyber和Houlihan Lokey的网络安全行业报告提供了一个很好的视角，但通常仅限于金融、类别增长和资本流动。
3、智库：一些智库也会发布关于网络安全市场状况的报告。
将安全视为一种实践
另一方面，Haleliuk说，当他将安全视为一种实践时，他会想到这些问题：安全团队应该把时间花在哪里？需要涵盖的最重要的问题领域是什么？如果某个特定控件丢失，发生安全事件的可能性有多大？“不幸的是，要找到有关网络安全实践的公正数据，一样也是困难重重。”
网络安全供应商
从理论来说，网络安全厂商应该是安全从业者最有力的行业报告来源，但事实上，很多供应商并没有描绘出安全需求的整体图景。
Haleliuk表示，出现这种情况有几个原因。首先与“动机”有关，网络安全厂商制作这些报告是为了营销、品牌和维护潜在客户，因此他们总是讲述只符合自身处境的场景。比如，安全自动化公司一定会说安全自动化是最重要的，云安全供应商一定会表明云才是最重要的攻击向量。
其次，许多涉及调查的用户已经在厂商的合作范围内了，因此他们更有可能与厂商保持一致的世界观。最后，即使网络安全公司尽最大努力使其报告尽可能客观，但问题的措辞或结果的汇总方式仍将有利于厂商。“因此，所有这些都使得安全负责人和从业者很难将厂商提供的报告作为行业的标准。”
政府组织
在过去的几年里，世界各国政府开始重视起了安全问题。其中，网络安全和基础设施安全局（CISA）就是很好的例子。Haleliuk表示，该机构在促进公共和私营部门之间的合作，以及在建立信息共享基础设施方面发挥了重要作用，其中包括：
1、自动指标共享（AIS）。AIS能够实时交换机器可读的网络威胁指标和防御措施，以保护AIS参与者并降低网络攻击的流行率；
2、协调漏洞披露计划（CVD）。CVD会协调产品和服务中新发现的网络安全漏洞的修复工作，并向受影响的供应商公开披露这些漏洞；
3、增强的网络安全服务（ECS）。ECS是一项自愿的信息共享计划，旨在帮助关键基础设施的所有者和运营商加强对其系统的保护，使其免受未经授权的访问、利用或数据泄露。
“CISA经常会发布网络安全警报和咨询，我预计该机构将会继续帮助安全从业者专注于重要事项。也就是说，我不知道该机构有没有任何全行业的报告，所以很难说它是否打算在未来制作一些报告，以帮助安全从业者专注于重要的事情。”
另一方面，Haleliuk表示，安全从业者还有一个重要来源是NIST网络安全框架，这是一套由美国国家标准与技术研究所（NIST）发布的指南，其作用是减轻组织的网络安全风险。NIST网络安全框架能帮助各种规模的企业更好地了解、管理和降低其网络安全风险，并保护网络和数据。
“网络安全框架和政府标准提供了一种全面的网络安全方法。正如我说过的那样，合规优先的安全方法有一长串缺点，但如果使用得当，这些框架可以成为安全负责人和从业者的对照标准。而现阶段的问题在于，政府对安全行业的了解并不充分，其尚未成为能帮助公司建立更好网络防御的主要平台。”
其他来源
Haleliuk还例举了一些其他对安全行业有利的报告主体：
1、专业协会：专业协会经常会分享关于其成员的最佳实践和研究调查。此外，他们还创建了自己的安全标准和基准。例如，美国注册会计师协会（AICPA）开发了服务组织控制（SOC）类型2，这是一种基于信任的网络安全框架和审计标准，侧重于验证厂商和合作伙伴是否能安全地处理客户数据。
2、国际组织：ISO 27001和ISO 27002认证被视为验证网络安全计划的国际标准。
3、信息共享和分析中心（ISACs）：ISACs能收集、分析并向其成员传播可操作的威胁信息，并能为成员提供减轻风险和增强抵御能力的工具。然而，他们的大部分见解并没有与非成员分享。
4、教育计划：教育机构在学生中传播知识，但他们保持相关性和最新信息的能力取决于他们的员工，所以可能会产生较大的差异。
许多数据不能完全相信
最后Haleliuk总结道：无论我们谈论的是网络安全业务还是实践，都很难找到任何关于网络安全行业的统计数据，原因很简单，没有任何一方会受到足够的激励来进行这样的分析。对此，Haleliuk例举了几点理由：
1、行业分析公司很少有工具或时间来做这件事。他们的重点是客户需求，比如大型供应商和财富1000强企业的安全负责人；
2、培训和认证机构会炒作人才短缺信息；
3、独立分析师和博客作者不够严谨，因此对安全行业的描绘会非常主观；
4、数据聚合专注于创建漂亮的视觉效果和图表，而不会去检查底层数据的准确性；
5、安全厂商的报告往往都带着偏见，他们会将自己所处领域描绘为最重要的场景；
6、专注于合规性和框架的组织往往很快与现实生活脱节，因为威胁格局的变化速度远快于安全框架；
7、政府组织无法提供可操作的视角；
8、风险投资公司会专注于符合他们投资理论的场景。
“我们根本没有可以公开访问、分析和聚合的数据。在国际层面上，我们已经建立了共享健康数据的基础设施，但由于网络安全是一门新学科，这项工作尚未开展。有人理所当然地建议我们需要建立网络安全联盟，但我认为我们至少应该建立一个类似于世界卫生组织的存在，首先是要能分享信息。”
Haleliuk表示，在我们可以聚合全球数据集之前，我们至少需要有能力了解境内发生的事情。而截至目前，大多数安全事件的根本原因从未公开，其受到了保密协议和雇佣合同的保护。此外，美国证券交易委员会的新规只适用于上市公司，而不是整个经济。根据美国国家经济研究局的数据，上市公司在美国所有公司中所占比例不到1%，约占美国非农商业部门就业人数的1/3。“假设这些数字在今天仍然相关，我们需要了解雇佣美国2/3人口，即其他99%企业的真实情况。”
Haleliuk希望保险公司能够填补这一空白。“保险公司知道不同企业在特定年份向网络犯罪分子支付的金额，因此他们完全能够估计与安全相关的实际损失金额。既然保险公司能知道安全事件的真实情况，他们应该能指导安全团队将精力集中在哪儿，以实现最高的投资回报。”
当然，上述CISA等政府机构，以及会计准则委员会也可以发挥作用。Haleliuk表示，安全行业需要具备高度诚信的研究人员，这些人不会传播FUD，而是以实际情况看待问题。“我不知道这些人员可以从哪儿挑选，但如果行业无法拥有这些人员，我们将继续被蒙蔽眼睛，我们会在信息茧房里被放大恐惧、不确定性和怀疑，并认为自己生活在水深火热之中。我们需要数据，我们需要数字，但我们更应该停止凭空捏造。安全行业不该只为牟利和发展，我们更应该关注于人类命运共同体，更应该关注于我们的未来！”
编者说
虽然Haleliuk的观点确实客观，实际情况也真实存在，但对于各类数据和行业报告我们也不能一律采取“一棒子打死”的态度，而是要学会“去伪存真”。当然，那些纯粹捏造的“假数据”和“假新闻”除外。
不同类型的数据，从不同角度出发所产生的报告，虽有其各自不同的目的，但本质大多遵循行业发展的规律和安全建设所需的底层逻辑，也寄希望于先利好行业，再利好自己。
作为用户和读者，我们需要用审慎的思维辨识、汲取其中真实、有利的信息，并加以利用，应用在日常实际的建设、沟通、汇报中，作用于安全产业的正向发展。“去其糟粕，取其精华”，最终通过其中那些“真实”的数据和报告，落实网络安全建设，推动产业发展。
同时，作为文中所提及的各类信息源点，也需要在数据、内容的输出上更加谨慎负责，尽最大可能做到客观公正。给予受众有价值的信息、知识，传递正确的观点和内容。诚如Haleliuk所说：“安全行业不该只为牟利和发展，我们更应该关注于人类命运共同体，更应该关注于我们的未来！”
原文：
《为什么我们不能相信网络安全行业的大多数统计数据》作者：ROSS HALELIUK