En 1896, l’hôtel de ville est transféré dans le pensionnat de l’Athénée royal et le bâtiment se voit alors occupé par l’école moyenne des filles, et ce jusqu’en 1933.

Par un vote du 19 janvier 1934, le Conseil communal de la Ville d’Arlon met gracieusement le bâtiment à la disposition de l’Institut Archéologique du Luxembourg pour y installer ses collections. Il devient un musée.

Les collections exposées sont alors consacrées à l’archéologie, à l’histoire et au folklore. Le rez-de-chaussée est dédié à l’archéologie (Préhistoire, Antiquité et Moyen Âge) ; le premier étage est occupé par le folklore avec trois pièces consacrées à des reconstitutions (une cuisine, une « stuff » et une chambre à coucher) ; l’auditorium (aile droite) est dédié aux collections d’art et d’histoire.

En 1955, la Ville d’Arlon cède gratuitement le bâtiment à la Province de Luxembourg. Un accord est signé le 13 août 1959 entre la Province et l’Institut Archéologique au sujet de l’affectation de celui-ci. La Province met les locaux gratuitement à la disposition de l’Institut pour l’installation du musée et de ses services administratifs.

Suite à d’importants travaux, les salles d’exposition sont réorganisées : le rez-de-chaussée se voit affecter aux collections préhistoriques et gallo-romaines ; l’étage conserve ses salles consacrées au folklore, un salon d’art religieux où est notamment exposé le retable de Fisenne et se voit aménager une nouvelle salle destinée aux collections mérovingiennes. Au sous-sol, une grande salle est dédiée aux produits de la sidérurgie luxembourgeoise (taques, chenets, crémaillères…).

En 1960, le second étage est aménagé pour accueillir une section d’histoire luxembourgeoise et des réserves.

La fin des années 1960 et le début des années 1970 sont marqués par de nouveaux travaux d’ampleur. Une annexe est bâtie à l’arrière. Le rez-de-chaussée concerne la période gallo-romaine, une partie de l’étage à la période mérovingienne et à la salle religieuse. A l’étage, une salle est également destinée à la Préhistoire mais ne sera jamais ouverte au public. La majorité du sous-sol, ainsi que le second étage sont occupés par des réserves. L’inauguration a lieu le 6 décembre 1973.

À partir de 1997 et au début des années 2000, le musée est modernisé : il est équipé du chauffage au gaz, le hall d’accueil est entièrement rénové, le bâtiment et ses accès équipés pour l’accès des personnes à mobilité réduite. Une salle audiovisuelle est créée.

En 2000, à la demande de la Communauté française, la vocation du musée devient exclusivement archéologique. La salle de la sidérurgie au sous-sol est fermée. Le contenu de la salle religieuse, et notamment le retable de Fisenne, sont transférés au Musée Gaspar.

Le 23 décembre 2004, un avenant à la convention de 1959 est signé entre la Province et l’Institut Archéologique du Luxembourg. Il stipule que la Province reprend la gestion de l’immeuble lui appartenant et désigne le personnel nécessaire pour assurer l’accueil.

Depuis 2009, les travaux de modernisation n’ont cessé :

En 2009, la verrière qui surplombait la première salle lapidaire est remplacée par une structure métallique pour des raisons de sécurité et de conservation.

En 2010, des bureaux sont aménagés pour le personnel au second étage. Ils comprennent, en plus de trois bureaux, une salle de réunion, un réfectoire et un laboratoire.

En 2011, les châssis des façades avant et arrière sont remplacés et les vitrages équipés de filtres anti rayons ultraviolets.

En 2012 - 2013, les deux salles d’exposition du premier étage ont été entièrement réaménagées (nouveau revêtement de sol, nouveau mobilier). La seconde salle a été transformée pour accueillir des expositions temporaires.

En 2013, le réseau d’égouttage a été en partie réfectionné suite à l’observation de fuites au niveau des sanitaires. La première phase d’aménagement d’une troisième salle d’exposition au premier étage (destinée à accueillir de nouveaux dépôts) a été réalisée (la seconde phase est programmée en 2015).

En 2014 a été programmé le chantier de mise en conformité des réserves. Celui-ci a débuté en mars et sera terminé en juin.

Le Musée Archéologique d’Arlon est un musée reconnu de la Fédération Wallonie-Bruxelles