很久很久以前，電白沿海一帶風光旖旎，物產豐阜，人們男漁女織，過著世外桃源的生活。這里的南海島上有一條高涼俚村，村里有一后生，因屬狗，父母叫他阿狗。阿狗生得英俊偉岸，智勇雙全，百般武藝，樣樣皆能．且他為人正直，樂于助人，深得鄉民的愛戴。

傳說海龍王有個女兒叫龍三妹，芳齡十八，天生麗質，聰明伶俐，因長鎖宮禁，整天悶悶不樂。那天突然春心躁動，便偷出龍宮到海岸游玩。當時，正值陽春三月，南海島上春光明媚。龍三妹游到南海島時，便沉醉在美麗的景色里。忽然她看見一個后生捕魚歸來，全身洋溢著男性的青春魅力，簡直令她驚呆丟魂，頓生愛心。她一經打聽，得知他叫阿狗并有一顆美好的心靈，心想，今生今世能與阿狗生活在一起該是多么的幸福啊。于是，龍三妹借故認識阿狗。阿狗也為龍三妹的美貌和落落大方的言談舉止所傾倒。心有靈犀一點通，很快，兩顆心就進發出愛的火花，他們談世情，講天理，越談越投機。在一個風清月朗的晚上，他倆指月為媒，結為伉儷，并發誓：海枯石爛不變心。不久，龍三妹身懷六甲。

海龍王不見愛女，心急似焚，派出身邊大將獨眼龍帶領一大隊蝦兵蟹將四處尋找。經過六六三十六天的查找，最后得知龍三妹已跟凡人阿狗結了婚，即回報海龍王。海龍王火冒三丈，即令獨眼龍將龍三妹拉回龍宮。獨眼龍帶著蝦兵蟹將來到高涼俚村，要村民交出龍三妹。村民不但不從，反而組織數條村的村民與獨眼龍的兵將展開了搏斗。阿狗與獨眼龍打了七七四十九個回合，不分勝負。這時，怒火中燒的獨眼龍使出“震天術”。頓時，電白一帶地動山搖，雷雨交加，冰雹不斷。如此三日三夜，獨眼龍再次威脅村民交出龍三妹，村民還是不從，并組織更多村民與其抗爭。氣急敗壞的獨眼龍心生毒計，使出絕招，口噴毒火。只見火光沖天，濃煙滾滾。龍三妹知道獨眼龍的毒火會將在場的數千名村民燒死，而要鎮住獨眼龍噴毒火，則要男女陰陽結合。因此，她毅然吞下定身石，抱起丈夫向獨眼龍方向飛去。很快兩人著了火，像一火龍撲向前方。獨眼龍被這突如其來的雙飛人嚇呆了。說時遲，那時快，阿狗將獨眼龍撲倒在地，借助定身石的法力，阿狗夫婦將獨眼龍打死了。但由于烈火無法撲滅，阿狗夫婦便成了一座小石山。從此，這里的鄉民又得以安居樂業。人們為了紀念阿狗夫婦，便叫這山為石狗山。

1958年大躍進時期，省委書記陶鑄前來視察檢查，當他踏上石狗山時，看見群眾造林有一股虎勁，加上這石山更象虎頭，虎視南海，便提議將石狗山改為虎頭山，并在山頂建了綠海亭。從此，虎頭山之名一直沿用至今。