พ.ศ. 2400 โดยประมาณ รัชสมัยที่ 10 ขึ้น สมัยที่ 11 แห่ง ถงจื๊อฮ่องเต้ หรือ ท่งจี คนจีนไหหลำบนเกาะสมุย รวบรวมกันนำโดย นายลิ้มเทียนหยู (แซ่ลิ้ม) นายลิ้มเทียนวา (แซ่ลิ้ม) และนายโย้กิมยี่ (แซ่โย้) ได้นำเทวรูปแกะสลัก องค์กวั๋นก๋ง หรือ กวนกง หรือ ทางไทยเรียกว่า กวนอู พร้อมองค์รักษ์ 2 องค์ คือ จิวซ่าง (หน้าดำ)และกวนเพ้ง(กวนเป๋ง) บุตรบุญธรรม(หน้าหยก)และองค์บุ่นเถ่ากง(เทพารักษ์) มาประดิษฐาน ณ บ้านหน้าค่าย ทางทิศใต้ ของศาลเจ้าฯปัจจุบันประมาณ 1 กิโลเมตร เป็นศาลเจ้าไม้เล็กๆ เลยเรียกกันว่า ศาลเจ้าบุ่นเถ่ากงหน้าค่ายบ้าง หรือ ศาลเจ้ากวั๋นก๋งหน้าค่ายบ้าง แต่มักเรียกสั้นๆว่า ศาลเจ้าหน้าค่าย พ.ศ. 2427
พ.ศ. 2551 คณะกรรมการศาลเจ้าฯนำโดย นายวิรัช พงศ์ฉบับนภา เป็นประธานศาลฯ ได้รวบรวมเงินขยายพื้นที่ศาลเจ้าฯ และได้ออกแบบ ย้ายศาลเจ้าใหม่ แต่รักษาอนุรักษ์อาคารไม้เคี่ยมเดิมไว้ให้คนรุ่นหลังได้เห็น พร้อมสร้างหอศาลารายใหม่ ดังที่ปรากฎในปัจจุบัน พร้อมกันนี้ทางคณะกรรมการฯได้มีมติหาทุนสร้างองค์กวนอูสัมฤทธิ์ขนาใหญ่สูงรวมฐาน 16 เมตรหน้าศาลเจ้าฯเพื่อให้สอดคล้องกับองค์กวนอูเทวรูปซึ่งเป็นประธานเทพในศาลเจ้าฯ
วันที่ 29 กันยายน 2555 ทำพิธีลงฤกษ์เททองสัมฤทธิ์รูปหล่อมหาเทพกวนอูขนาดสูงรวมฐาน16 เมตร เมื่อเสร็จแล้วอาจกล่าวได้ว่า สูงและใหญ่ที่สุดในประเทศไทย โดยนายยงยุทธ วิชัยดิษฐ รองนายกรัฐมนตรีและรัฐมนตรีว่าการกระทรวงมหาดไทยเป็นประธานในพิธี ร่วมด้วยพลเอกวัฒนา สรรพานิช ผู้ช่วยรัฐมนตรีประจำกระทรวงมหาดไทย