起源
五岛氏的前身为宇久氏。宇久氏流传有桓武平氏后裔的《平姓五岛系谱》和清和源氏武田氏流的《源姓五岛家谱》两种系谱。
按照桓武平氏说，宇久氏的始祖是平忠盛的儿子平家盛，平家盛是平清盛的弟弟，久安六年（1150年）离开京都行踪不明。平家在坛之浦之战灭亡后的文治三年（1187年），平家盛搬到了宇久岛，改称宇久家盛。但在《平治物语》等史籍记载中，平家盛在久安五年（1149年）就去世了。
按照清和源氏武田氏流说，宇久氏的始祖是武田氏始祖武田信义的孙子武田信弘。文治三年（1187年），武田信弘在平户黑发山麓建立了住所，之后到宇久岛建造了城堡，改称宇久家盛。
早期历史
虽然宇久家盛出身不明，但被认为是宇久氏的祖先。宇久家盛之后由女儿宇久扇继承，以源盛为婿养子。之后依次为宇久太、宇久进、宇久竞。宇久竞在元朝入侵时期出阵并取得了大功。
宇久氏以宇久岛为基础发展。镰仓时代的正和年间，宇久披被任命为镇西探题的使节，因此宇久氏得到了镰仓幕府御家人的地位。南北朝时代，宇久氏属于北朝方，参与在九州探题今川了俊推动下、松浦党各族的合作协议。之后，围绕渔业权等问题，五岛各领主签订合作协议。
宇久氏早期以矢本馆为据点，到第八代宇久觉时，于弘和三年（1381年）把居城搬到了福江岛的岐宿。
宇久觉没有儿子，因此在《青方文书》中留下了把阿野对马守的儿子松熊丸作为养子，签订“父子起请文”的记载。移居歧宿的宇久觉在嘉祯二年（1388年）去世，养子松熊丸继承家业，改名宇久胜，但宇久氏内部有人反对。直到应永二十年（1413年），通过参加松浦党各族的合作协议，宇久胜的地位得到确认。宇久胜把居城从从岐宿迁到了深江辰之口城。
文安五年（1448年），宇久胜的孙子宇久仪开始与朝鲜进行贸易，宇久氏在对朝贸易中积蓄了财力。
战国时代
宇久仪之后依次是宇久定、宇久胜、宇久幡、宇久觉（与第八代同名）。宇久觉之后由宇久围继承。宇久觉的三男青方续作为青方尧正的养子继承青方氏。
永正四年（1507），宇久氏分家玉之浦氏的玉之浦纳发动叛乱，宇久围被杀。宇久围的孩子三郎被乳母抱着逃到了平户，依靠舅公松浦弘定。之后，三郎在松浦弘定的教导下长大，改名宇久盛定。
大永元年（1521年），宇久盛定在松浦兴信的支援下，召集旧臣，诛杀玉之浦纳，恢复了旧领。
大永六年（1526年），宇久盛定新筑了江川城作为居城。在平户松浦兴信的支持下，宇久盛定将福江岛的奈留氏、大浜氏、贞方氏、玉之浦氏等置于统治之下，并使福江岛的田尾氏、中通岛的青方氏、奈摩氏等领主臣服。然后，宇久盛定将这些豪族进行整编，形成了宇久氏的家臣团。
天文九年（1540年），明朝海盗头目王直到达深江，宇久盛定欣然同意进行通商，让他住在福江一角，现存的唐人町“六角井”就是其遗迹。
宇久盛定之后由宇久纯定继承家督。宇久纯定讨伐了叛乱的奈留盛信。永禄五年（1562年），宇久纯定得病，但在葡萄牙传教士的诊治下痊愈了。永禄九年（1566年），宇久纯定邀请葡萄牙传教使阿尔梅达和洛伦索向领民传教，并捐助教会。永禄11年（1568年），宇久纯定与妻子、儿孙一起接受洗礼，成为天主教徒。
元龟二年（1570），宇久纯定隐退，由于嫡男早逝，作为大浜氏养子的二男宇久纯尧继承了家督。但是，宇久纯尧病弱，儿子宇久纯玄年幼，所以宇久纯定直到宇久纯玄成年之前仍然掌握着实权。
天正十五年（1587年），宇久纯玄继承家督之位。同年，丰臣秀吉发动九州征伐，宇久纯玄前往丰后国府内谒见丰臣秀吉。丰臣秀吉认为五岛是外国商船通航的要地，命令宇久纯玄回到五岛，守卫领地。
九州征伐结束后，丰臣秀吉发布了天主教禁令，作为宇久纯玄监护人、掌握宇久家实权的叔祖父宇久盛重开始在领内迫害天主教徒，破坏教会，派佛僧传教。一部分信仰天主教的家臣如叔父大浜玄雅等被迫流亡长崎等地。
征战朝鲜
为了给侵略朝鲜做准备，天正19年（1591年），丰臣秀吉下令在肥前的名护屋筑城。9月，命令在壹岐建造胜本城，由松浦镇信、有马晴信、大村喜前和宇久纯玄负责。宇久纯玄在这一年把姓氏从宇久改为五岛，此后称五岛纯玄。
文禄元年（1592年），第一次侵朝战争开始，五岛纯玄命五岛盛长为城代留守，自己率领七百多名士兵渡海到朝鲜，隶属于小西行长的第一军，作为先锋出战。
4月12日，五岛军作为第一军的先锋奋战，当天攻占了釜山镇城。第二天攻下庆尚道东莱城，17日攻下密阳府，再进击庆尚道、忠清道、京畿道，诸城不战而胜。日军仅19天就攻下了朝鲜的首都汉城。
朝鲜水军的李舜臣攻击了正在釜山西方展开的日本舰队，数千名日本陆军和水军被困。从釜山到汉城的运输线也遭到游击队攻击，内陆地区的日军出现了军粮不足的情况。
7月，明朝辽东副总兵祖承训从朝鲜的义州南下攻打平壤城，但被小西行长等人击退。
文禄2年（1593年）正月，明朝以李如松为总兵，以4.3万士兵包围了平壤的小西行长部。在这场战斗中，第一军的1600人战死，五岛军也战死了太田弹正、江十郎、青方新八等人。小西行长被迫撤退到汉城。
李如松乘势南下逼近了汉城，日本各军聚集将其击败（碧蹄馆之战），此战中五岛纯玄也出阵了。
陷入军粮不足的日军撤离汉城，在釜山集结。随后明日两方开始和谈，但进展很困难。
文禄三年（1594年），五岛纯玄在军中病逝，享年三十三岁，没有儿子。五岛纯玄在遗书中指定以叔父大浜玄雅为家督，重臣平田甚吉、青方善助等人将五岛纯玄的遗书献给了小西行长。当时宇久盛重已经去世，为了保护五岛的天主教徒，同样是天主教徒的小西行长与五岛家臣商量后准备让大浜玄雅继承。但大浜玄雅曾经与五岛纯玄争夺过家督之位，因此坚决拒绝。最后以领养宇久盛重的的孙子既已经去世的宇久盛长的2岁儿子（后来的五岛盛利）为养子为条件说服大浜玄雅继承了家督，改名五岛玄雅。作为虔诚的天主教徒，在丰臣秀吉大肆迫害天主教徒、发生“二十六圣人殉教”事件后，五岛玄雅仍然坚持将天主教传教士留在城内。
庆长元年（1596年），明日和谈失败，9月，丰臣秀吉下令再次出兵。作战目标是先占领全罗道，再进攻忠清道、京畿道，然后建设据点驻守，其他军队回国。五岛玄雅隶属于小西行长军，攻下闲山岛。
日军顺利攻占全罗道，扫荡忠清道，在稷山之战中击败明军，向京畿道进攻，达到作战目标后开始建设城郭。
庆长2年（1597年）12月，正在建设中的蔚山倭城被明朝援将杨镐率领的5万7千大军包围。蔚山城的守将浅野幸长和赶来支援的加藤清正多次击退明军。五岛玄雅与毛利秀元等人率领水军救援，与守城军队夹击，最终击溃了明军，明军阵亡达两万。丰臣秀吉赐予五岛玄雅朱印状，并赏赐小袖一服、道服一服。
庆长3年（1598年）五岛军与小西行长、松浦镇信、有马晴信、大村喜前一起守护着在顺天东南10公里的光阳湾沿岸建造的顺天倭城。8月，五岛玄雅暂时回国，为了继承家业的谢礼去了大坂城朝觐，丰臣秀吉赞赏五岛玄雅的战功，赐予丰臣姓。
8月18日，丰臣秀吉去世，但这件事对在朝鲜日军保密。从10月2日到4日，朝鲜军从水陆攻击了顺天倭城，但被击退（顺天之战）。10月15日，日本国内以五大老的名义向在朝鲜日军发出撤退命令，各军开始从朝鲜撤退。小西军受到明朝水军和朝鲜水军的海上封锁，岛津义弘、宗义智、立花宗茂、高桥统增、寺泽广高组成水军前往救援，与明朝水军在露梁爆发海战，最终包括五岛军在内的小西军成功逃回。
江户时代
庆长五年（1600年），关原之战发生后，五岛玄雅与小西行长等属于西军，但中途五岛玄雅转向了东军，故战后领地得到保全，五岛玄雅成为福江藩初代藩主。
五岛玄雅去世后，养子五岛盛利继承。五岛盛利时期发生了“大滨主水事件”，五岛玄雅的亲生子大浜玄宗的养子大浜正重（大浜主水）向幕府控诉五岛盛利的继承问题和失政，最终大浜正重被五岛盛利处死。于是，五岛盛利的后代作为近世大名存续，直到明治维新。