ตามตำนานกล่าวเอาไว้ว่า เมื่อปลายรัชสมัยกรุงศรีอยุธยา ทะเลบางแสน และเขาสามมุข นั้นยังไม่มีชื่อปรากฏ มีเพียงแต่ ตำบลอ่างหิน ซึ่งปัจจุบันก็คือ ตำบลอ่างศิลา มีเจ้าของโป๊ะ หรือที่ชาวบ้านรู้จักกันในนาม 'กำนันบ่าย' มีลูกชายชื่อว่า 'แสน' และห่างออกไปจากตำบลอ่างหิน มียายและหลานสาวอาศัยอยู่ด้วยกันคู่หนึ่ง ซึ่งหลานสาวมีชื่อว่า 'สามมุข' อาศัยอยู่ เมืองบางปลาสร้อย

            เมื่อบิดามารดาเสียชีวิตลง 'สามมุข' ก็ได้มาอาศัยอยู่กับยายจนกระทั่งโต 'สามมุข' มักจะชอบมานั่งเล่นดูหนุ่มสาว รวมทั้งเด็กที่มาเล่นว่าว อยู่ริมเชิงเขาเป็นประจำ และมีเพื่อนที่คอยหยอกล้อเล่น ก็คือ ลิงป่าที่ลงมาจากเขาแถวนั้นอยู่เป็นประจำ ขณะที่ 'สามมุข' กำลังนั่งเล่นอยู่ ก็มีว่าวตัวหนึ่งได้ขาดลอยลงมาตกอยู่ตรงหน้า เธอจึงได้เก็บว่าวตัวนั้นเอาไว้ โดย 'แสน' ได้วิ่งตามว่าวที่ขาดลอยมา ซึ่งทำให้ 'แสน' กับ 'สามมุข' ก็ได้รู้จักกัน และได้มอบว่าวตัวนั้นไว้ให้กับ 'สามมุข' เป็นที่ระลึก หลังจากนั้น ทั้งสองคนก็ได้พบปะกันเรื่อยมาจนเกิดเป็นความรักขึ้น และได้สาบานต่อหน้าขุนเขาแห่งนี้ว่า "ทั้งสองจะครองรักกันชั่วนิจนิรันดร หากใครผิดต่อคำสาบานนี้ จะต้องมากระโดดหน้าผานี้ตายตามกัน" โดย 'แสน' ได้มอบแหวนวงหนึ่งให้กับ 'สามมุข'

            เมื่อ กำนันบ่าย ทราบเรื่องเข้า ก็เกิดความไม่พอใจ โดย 'แสน' ได้ขอร้องผู้เป็นพ่อให้ไปสู่ขอหญิงสาวที่ตัวเองรัก เหตุนี้ยิ่งทำให้ กำนันบ่าย ไม่พอใจมากขึ้น จึงกักบริเวณ 'แสน' เอาไว้ ทำให้ทั้งสองไม่ได้พบกัน และในที่สุด กำนันบ่าย ก็ได้ไปสู่ขอลูกสาวคนที่ทำโป๊ะ ให้กับ 'แสน' และได้กำหนดพิธีแต่งงานขึ้น ข่าวนี้ได้แพร่กระจายไปถึงหูของ 'สามมุข'  กระทั่งวันแต่งงานของ 'แสน' มาถึง เมื่อแขกเริ่มทยอยเข้ามารดน้ำสังข์อวยพรให้แก่คู่บ่าวสาว 'แสน' ได้ก้มหน้านิ่ง กระทั่งมีน้ำสังข์ที่หลั่งรดลงมาพร้อมแหวนที่ 'แสน' จำได้เป็นอย่างดีว่าแหวนวงนี้เป็นของ 'สามมุข' เมื่อ 'แสน' เงยหน้าขึ้นมาก็เห็น 'สามมุข' วิ่งออกไปแล้ว

            ทั้งนี้ 'แสน' ได้นึกถึงคำสาบานที่ได้เคยให้ไว้แก่กัน จึงได้รีบวิ่งไปที่เชิงเขา แต่ก็ปรากฏว่า 'สามมุข' ได้ขึ้นไปบนหน้าผาแห่งนั้น และได้กระโดดลงมาจากหน้าผาเสียชีวิต เมื่อ 'แสน' เห็นเช่นนั้น จึงตัดสินใจกระโดดตามคนรักลงไป ชาวบ้านต่างพากันเศร้าสลดใจเป็นยิ่งนัก ต่างพากันสาปแช่ง 'กำนันบ่าย'  หลังจากนั้น 'กำนันบ่าย' ได้นำถ้วยชามและสิ่งของต่างๆ มาไว้ในถ้ำตรงหน้าผาแห่งนั้น และได้ตั้งชื่อภูเขาลูกนี้ว่า 'เขาสามมุข' และส่วนชายหาดที่ติดกัน เขาก็ให้ชื่อว่า 'หาดบางแสน' เพื่อเป็นอนุสรณ์แห่งความรักของคนทั้งสองคน จนถึงปัจจุบันนี้ 

            ชาวบ้านพากันเล่าว่า "ตอนกลางคืนจะเห็นร่างหญิงสาวยืนอยู่ ตรงหน้าผานั้น" จึงได้ช่วยกันสร้างศาลนี้ขึ้น เพื่อเป็นที่สิงสถิตและเป็นที่เคารพสักการะแก่ชาวบ้านและชาวประมงเป็นอันมาก เมื่อเวลาจะออกทะเลไปหาปลา มักจะจุดประทัดบนบานขอให้ได้ปลากลับมาเต็มลำเรือ และอย่าได้ต้องเจอกับลมพายุ แต่เมื่อเจอลมพายุกลางทะเลแล้ว ยิ่งต้องจุดธูปบนเจ้าแม่สามมุขให้รอดปลอดภัยจากอันตรายแล้วก็สัมฤทธิผลเรื่อยมา

            อย่างไรก็ตาม คนท้องถิ่นในชลบุรี ก่อนจะออกทะเลหาปลา มักจะเซ่นไหว้ศาลเจ้าแม่สามมุข ด้วยมะพร้าวอ่อน ขนมเปี๊ยะ และผลไม้ ส่วนแม่ค้านั้น จะบนบานเป็นมะพร้าวอ่อน ขนมครก ว่าว พวงมาลัย ผลไม้ ก็สัมฤทธิผลเรื่อยมา หากเป็นเรื่องที่เกี่ยวกับการบนไม่ให้โดนเกณฑ์ทหาร เรื่องขายที่ดิน และเรื่องสำคัญต่างๆ มักจะบนโดยการ บนบวชก็มี หรือบนเป็ด บนไก่ หัวหมู บนหนังกลางแปลงก็มี ละครรำก็มี ทั้งนี้ เคยมีคนที่เขาสามมุขนี้ เป็นคนที่ยากจนมาจุดธูปขอไม่ให้โดนทหารว่า "หากจับได้ใบดำ จะแก้บนโดยการเดินจาก ที่ว่าการอำเภอเมืองชลบุรีมากราบไหว้เจ้าแม่สามมุข" ก็สำเร็จมาแล้ว สิ่งที่บนเจ้าแม่สามมุข ที่บนควบคู่กันมากับสิ่งอื่นก็คือ "มะพร้าวอ่อน ว่าว พวงมาลัย หรือการฉายภาพยนตร์ ลิเก"