五色浜には平安の昔、屋島の戦いに敗れた平家一門の５人の姫がこの浜に漂着しましたが、世をはかなんで海に身を投げ五色の石と化したという哀しい伝説があります。

この伝説にちなんで、毎年3月の第4日曜日に五色姫の復活祭を開催しています。当日は五色姫と女性神輿のパレードで盛り上がります。ねがい石のプレゼントや、商店街で五色姫復活祭特価セールも催されます。