Οι περισσότερες από τις δραστηριότητες της Φ.Ε.Ξ., αρχής γενομένης από την Βιβλιοθήκη, στεγάστηκαν και εξακολουθούν να στεγάζονται στο Σπίτι Πολιτισμού, το διατηρητέο κτίριο του 1900, στην συμβολή των οδών Μαυρομιχάλη και Παλαιολόγου, απέναντι από το Δημαρχείο.

Το εξαιρετικά ενδιαφέρον αυτό κτίριο συντηρήθηκε όλα αυτά τα χρόνια, με μεγάλη φροντίδα από τα μέλη της Φ.Ε.Ξ., τα οποία, σε παλαιότερες δύσκολες εποχές, αγωνίστηκαν σθενερά και το έσωσαν από βέβαιη κατεδάφιση.

Αυτήν την στιγμή, μετά από μακρά και στενή συνεργασία με τον Δήμο Ξάνθης, επίκειται η έναρξη εκπόνησης σχετικής μελέτης και η εκτέλεση των εργασιών αφ' ενός για την αποκατάσταση των αρχιτεκτονικών και μορφολογικών στοιχείων του κτιρίου αφ' ετέρου για την επαναδιαμόρφωση των εσωτερικών του χώρων, ώστε να στεγάσει όλες τις δραστηριότητες και τα τμήματα της Φ.Ε.Ξ. αλλά και να λειτουργήσει ως ένα πολιτιστικό πολύκεντρο στην καρδιά της παλιάς πόλης.

Στο σπίτι πολιτισμού  πραγματοποιούνται τα μαθήματα των περισσοτέρων εργαστηρίων και πολλές απο τις εκδηλώσεις της ΦΕΞ όπως συναυλίες, θατρικά και άλλα.