王家岛历史悠久，早在6000年前的新石器时期，就有人在海岛渔猎耕耘，是各地渔民出海捕鱼时临时休息、修补渔船渔具和避风晒网的地方，因此王家岛始称“网岛”。直至1600多年前的北魏东晋时期，王家岛开始正式有人类居住并繁衍生息。
公元404年（北魏天赐元年）,高句丽悉得辽东之地，王家岛被高句丽占据，并陆续向海岛移民。王家岛第一次有人类居住。1137年，金廷下令将海岛居民“尽驱以行”，全部迁出，王家岛成为无人区。以后数年，遗散之民部分返回。公元1621年－1653年，由于辽东战乱频繁，明清两代实行两次海禁，海岛与大陆交通断绝，粮源阻塞，大部分岛上居民先后弃岛，逃至大陆谋生，再次造成岛屿荒芜。迄清顺治十年（南明昭宗永历七年，1653年），因山东一带战乱未息，连年遭灾，故山东登州、莱州一带的部分渔民先后乘船来岛，占领地盘，安家落户。到清康熙二十七年(1688年)放开弛禁，山东、河北等地渔民先后进入王家岛一带捕鱼，渐使王家岛东南部海面渔船云集。随着渔业的兴起，招来了四方居民，人口逐渐集居。继后，山东又数次移民于此。现在岛内部分居民，乃系这些移民的后裔。故王家岛至今仍保持着齐鲁文化兼燕赵文化的特性。