كان التجار يسافرون إلى الهند والصين وجنوب وغرب أوروبا وبالتحديد فرنسا وإيطاليا، وحاولوا جمع عدة ثقافات من هذه المناطق وإبرازها في منازلهم والتي بنيت من "الحجارة الفرسانية" وهي حجارة مرجانية طبيعية وكل النقوش والمنحوتات في المنزل بنيت من مادة الإسمنت المحلي أو كما يسمى "الجص" وهو ما جعل من المنزل تحفة معمارية جميلة جدا ويحتوي على عدد من الثقافات منها، الإسلامية والهندية والأوربية.

منزل الثري «أحمد المنور الرفاعي» ومنزل الثري الآخر «حسين ين يحيى الرفاعي» ومسجد الشيخ «إبراهيم بن إبراهيم النجدي التميمي» - ثلاثة نماذج من النماذج المعمارية المتفردة فنا وإبداعا - هي المتبقية كشهود على عصر ازدهار تجارة اللؤلؤ في فرسان ، وقد أصدر الملك - يحفظه الله - أمره بتحويل منزل أحمد المنور الرفاعي ومنزل حسين بن يحيى الرفاعي مع المباني المجاورة لهما إلى متحف يضم آثار ونقوش وكتابات الجزيرة التي تعود إلى زمن الدولة الرومانية وما قبلها من تواريخ تعود إلى ما قبل الميلاد.
ولأن المنزلين قد جار عليهما الزمن وبدأت نقوشهما ولوحاتهما الخشبية وأسقفهما في التساقط فقد قامت الهيئة العامة للسياحة والآثار - ممثلة في مكتب الآثار بجازان - بترميم منزل المنور الرفاعي.