林乎加出生于1916年，是山东长岛人，他年轻时恰逢山东地区时局动荡，青岛问题也十分突出，很多年轻人随之觉醒，林乎加也踏上了救亡图存的道路。1938年春天，林乎加正式加入我党，此后他留在胶东大地与日军以及国民党斗争，在没有坚船利炮的条件下，林乎加注重发动群众的力量，团结群众，凝结起强大的力量，并在我党的带领下取得革命的胜利。
新中国成立后，林乎加首先担任了浙江宣传部副部长，在浙江工作期间，林乎加一直积极落实中央政策，促进农业发展，这段时间的锻炼，也让林乎加有了经济工作的经验，为后续的发展打造了良好的基础。
建国之初，经济发展是个难题，有这方面经验的人才也是十分稀少，而林乎加以实践为基础，获得了宝贵经验，组织对他也因而十分重视。但是在十年浩劫时期，林乎加的这份恪尽职守、任劳任怨却被曲解，他本人也遭受了严重的迫害和诬陷，一直到1973年才得以平反，重新回到国家计委工作。
1976年10月，随着“四人帮”被粉碎，上海地区的经济急需恢复，中央在挑选由谁来挑起这个担子时，林乎加的名字映入眼帘。组织想要寻找一位懂经济又刚正不阿的人，在他人的举荐下，林乎加便成了最终人选，跟随工作组奔赴上海，粉碎了“四人帮”上海余党的阴谋活动。
粉碎“四人帮”上海余党之后，在林乎加的带领下，上海群众的生活生产恢复到正常，经济也有所好转。在这之后，工作组大部分人已经撤离，但是林乎加在上海的成绩突出，便留在了上海，于1977年担任上海市委书记（当时设有第一书记），继续为上海的发展添砖加瓦，比如，宝钢的落地和发展也有林乎加的功劳。
1978年，林乎加被调往天津，在天津担任了市委第一书记（相当于今天的天津市委书记）。在天津期间，他的工作重心放在了教育上，动荡的时期刚结束不久，高考的恢复也迫在眉睫，许多学生被耽误了数年时间，寒窗苦读却没有渠道可以实现人生理想。
林乎加深知读书的重要性，当年他能够接触先进思想，走上革命道路，正是因为不断学习。于是林乎加四处奔走，新建了许多学校，提供了更多的学习机会。高考恢复后，天津的招收名额太少，很多成绩不错的学生因为没有名额而失去读书的机会，看到这样的现象，林乎加又开始提议扩招，并多次召开会议研究。
面对这个决定，很多学校都说没有足够的空间和宿舍容纳，于是林乎加开始扩建，并且建议招收走读生。最终林乎加给中央写了一封信，言辞恳切，把天津的实际情况一一汇报。在中央的批准下，天津扩招了近万名学生，很多学子也实现了上大学的愿望。
1978年10月，林乎加调任北京市委第一书记（相当于今天的北京市委书记），他也将天津扩招的教育经验在北京继续实施，很快得到了许多高校的支持，为了扩大学校容纳量，市委压缩基建支出，将大部分投入到教育之中，为很多学子圆了大学梦。可以说，正是林乎加高瞻远瞩，力排万难，才保障了莘莘学子的读书机会。
1981年，林乎加卸任北京市委第一书记，在这之后，他又担任了农牧渔业部部长、顾问等职务，继续投身改革开放时期经济的建设与发展当中。2018年，林乎加因病去世，享年102岁。