Þéttbýlið er við Eskifjörð sem gengur inn úr norðurströnd Reyðarfjarðar og er byggðin með ströndinni við norðanverðan fjörðinn. Eskifjörður var mikill verslunarstaður fyrr á öldum og fékk fyrst kaupstaðarréttindi árið 1786. Verslun hefur verið þar samfleytt frá árinu 1798, þegar danska verslunarfyrirtækið Örum og Wulff hóf starfsemi hér á landi og reisti fyrsta verslunarhúsið í Útkaupstað. Árið 1801 voru íbúar staðarins 21. Embætti sýslumanns Suður-Múlasýslu var flutt til Eskifjarðar árið 1853. Í dag er Lögreglustjórinn á Austurlandi staðsettur á Eskifirði. Veruleg íbúafjölgun hófst fyrst á Eskifirði í tengslun við síldveiðar Norðmanna á Austfjörðum, á seinni hluta 19. aldar, og var íbúatalan komin í 228 árið 1902. Þann 1. janúar 1988 sameinuðust Eskifjarðarkaupstaður og Helgustaðarhreppur og árið 1990 var íbúatala sveitarfélagsins 1.100 íbúar.  Í dag búa um 1.060 manns á Eskifirði.