农村商业银行由农村信用社改制而来，二者具有一定的历史渊源，同为农村金融服务主力军，但也有很大的区别。
农村信用社又称为农商行的祖师爷。最早的农村信用社始于1951年，那个时候根本没有农商行，是人民银行把设置在农村的网点，交给地方管理，改为农村信用社。当时办行的宗旨是“农民在资金上互相帮助”，所以由社员出钱构成资本金，社员用钱时可以贷款，这种模式维持了很长一段时间。2004年信用社进行了一次产权制度改革，央行和地方政府拿出1650亿为地方信用社的亏空买单，将原来由社员出资构成的资本，转换成国有产权。
2003年农村信用社再次迎来重大改革，国家下发“深化农村信用社改革试点方案”，要求按照市场经济规则，进一步明晰产权关系，促进信用社法人治理结构完善，经营机制转换，使信用社真正成为自主经营，自我约束，自我发展，自担风险的市场主体，其中重要内容之一就是信用社改制组建农村商业银行。
当时对信用社组建农村商业银行提出几个要求：一是有较强的管理能力；二是全辖资产总规模不低于10亿；三是不良贷款率在15%以下；四是组建后资本金不低于5600万，资本充足率不低于8%。符合以上条件的农村信用社均可以申请组建农村商业银行。
截止2019年底，农村商业银行从无到有发展到1423家，农村信用社则不断减员萎缩至782家，他们的区别也日渐明显：
1.产权性质不同。信用社产权属于地方国有，性质单一，而农商银行产权结构中不仅允许国有，还有企业或自然人参股，结构多元化，持股比例最大者为控股股东。
2.组织架构不同。信用社一般以县级联社为独立法人组织，负责各社经营和统一核算，但在行政管理上一般由省级联社负责；农村商业银行则直接以总行身份成为一个独立法人组织，下辖各分支行，并负责业务经营和行政管理，其他任何单位无权干涉。
3.资产规模和辐射范围不同。因为农村信用社一般以县级联社为独立法人，所以业务范围仅限于县级范围之内；而农村商业银行一般由多个县级联社合并而成，所以业务覆盖范围更宽，资产规模更大。
4.服务功能不同。因为农村信用社资产规模较小，管理能力有限，因此在监管条件下它的服务功能就比较单一，比如大多数都以存款贷款和结算支付为主；而农村商业银行随着资产规模和业务管理水平达到一定程度，就可以申请更多业务牌照，比如理财产品、基金、大额存单以、债券及其他衍生品等业务。
由此可见，在我们选择农村信用社和农村商业银行时，如果仅限于传统存贷业务，二者几乎没有什么区别；但如果是涉及异地结算业务，还是农村商业银行更好，毕竟辐射范围宽一点，可以避免手续费；同时，如果想购买理财类产品，农村商业银行选择空间更大一些。