Á 19. öld reis í Hafnarnesi þorp sem hafði afkomu sína aðallega af sjósókn. Flestir munu íbúarnir hafa orðið rétt rúmlega 100 í upphafi 20. aldar. Samkvæmt fasteignamati árið 1918 voru skráð 12 íbúðarhús í þorpinu, en byggðin lagðist að mestu af á 7. og 8. áratugnum. Í dag má finna ýmsar minjar á svæðinu um þessa byggð.

Franski spítalinn er stórt og reisulegt hús sem var upphaflega reist í Búðakauptúni, eins og þéttbýlið við Fáskrúðsfjörður nefndist, árið 1903 sem sjúkrahús fyrir franska sjómenn sem gerðu út á sjóinn úti fyrir Austurlandi. Húsið var síðan flutt út í Hafnarnes árið 1939 þar sem það var nýtt sem fjölbýlishús og skóli lengi vel. Upp úr miðjum 7. áratugnum fór húsið í eyði.  Franski spítalinn var svo fluttur aftur til Fáskrúðsfjarðar árið 2010 og fundinn staður við Hafnargötu, neðan við Læknishúsið sem Frakkar reistu árið 1907. 

Bæði hús eru hluti af frönsku húsunum, sem Minjavernd hf. hefur endurbyggt á Fáskrúðsfirði. Þau opnuðu sumarið 2014 og er þar nú Fosshótel Austfirðir, veitingastaðurinn l'Abri og safnið Fransmenn á Íslandi.