虽然图-104象征着喷气式飞机进入民用航空的开始，但其事故率超出了任何合理的限度。
作为苏联商业喷气航空的先驱和世界上最早的喷气客机之一，图-104被希望成为苏联的骄傲。事实并非如此。
恰恰相反，图-104成为了历史上最危险的苏联客机。在生产的201架中，有37架在空难中丧生，几乎占了五分之一。1137人在这些灾难中丧生。
与50年代苏联的其他客机类似，图-104基于军用飞机图-16喷气式战略轰炸机设计的。
尼基塔-赫鲁晓夫对这种飞机非常自豪。在1956年访问伦敦期间，他下令将三架图-104飞往英国首都，这让欧洲人感到震惊，并表明苏联在民用喷气客机方面取得了巨大的飞跃。返程时，赫鲁晓夫本想乘坐该机型，最终在熟悉飞机性能的设计师的极力劝阻下放弃了这一想法。
后来对图-104的使用表明，该飞机远非完美。在飞行过程中，图-104是非常不可靠的，而且控制得很差。飞机经常遭受所谓的 "荷兰式翻滚"，在一个方向滚动，在另一个方向偏航。图-104也非常容易在低速时失速。此外，其机载电子设备的质量还有待提高。
飞行员们对飞机的特性有很多抱怨。然而，图波列夫局的设计师拒绝接受飞机有问题的事实，而是指责飞行员的不专业性。
1958年一架图-104在北京-莫斯科的飞行中坠毁后，情况发生了变化。飞机遇到了一股强大的上升气流，并进入了一个无法阻止的深度旋转。在飞机坠落的整个过程中，机长哈罗德-库兹涅佐夫冷静地将机组人员的所有行动和飞机发生的一切情况告诉了空中交通管制。他的宝贵意见帮助修复了飞机的许多技术缺陷。尽管如此，空难和事故的数量仍然很高。
尽管苏联领导层试图将所有关于该机型造成的灾难的信息分类并加以掩盖，但图-104在人民中仍旧声名狼藉。20世纪60年代，苏联甚至出现了一首民谣，讽刺 "图-104是最好的飞机"。然而，歌词的内容却不尽然。其中一句歌词说："图-104是最快的飞机，它能在两分钟内把你带到你的坟墓。"图-104在1960年停止了生产，在其推出后仅仅五年。新一代的喷气式客机使该机过时了。
然而，苏联领导层认为没有重大理由让这样一架危险的飞机停飞，图-104又被使用了19年，遭受了更多的灾难和事故。只是在1979年，在另一次重大事故之后，这架飞机才被禁止用于民用运输。在苏联，军队在飞机离开民用领域很长时间后继续使用是常见的做法。对于图-104来说，这个使用期是相当短的。
1981年，一架图-104在列宁格勒地区坠毁，导致苏联太平洋舰队的整个领导层死亡，包括16名海军将领。让人颇感意外的是，除去黑海舰队在同年4月注销唯一一架该型客机之外，其余三家舰队仍旧将该种飞机作为备用机使用。太平洋舰队的一架图-104客机直到苏联解体之后仍偶有使用记录。
危险的图-104的引进有一些积极的时刻。苏联喷气式客运航空的开始需要新水平的机场基础设施和飞行舒适度。图-104远非完美的飞机，但作为民用喷气航空的先驱，它成为新一代喷气飞机的基础，例如更成功的图-154。
图-154中程客机一直是苏联和俄罗斯民航业的中坚力量，它也经常掉链子，飞行事故损失了72架图-154，共伤害了3263条性命。