Po rozbudowie obiekt przeznaczono na działalność stowarzyszenia pn. Zakładu Rzemieślniczo – Wychowawczego im. Św. Józefa popularnie zwanego „Braciszkami", ze względu na bezhabitowe zgromadzenie zakonne Braci Sług Maryi Niepokalanej, które go prowadziło. Do podstawowych zadań zakładu należała opieka wychowawcza nad ubogimi chłopcami, pochodzącymi z rodzin katolickich. W budynku mieściły się sale dydaktyczne, pomieszczenia mieszkalne, kaplica i sala teatralna. W podwórzu działała piekarnia. Od 1945 r. w gmachu tym miało swoją siedzibę przeniesione z Wilna Seminarium Duchowne, w którym wykładowcą był błogosławiony ks. Michał Sopoćko. W latach 50. XX w. budynek upaństwowiono i założono w nim Dom Dziecka. W latach 90. XX w. przeprowadzono remont budynku, m.in. wykonano termomodernizację elewacji wraz ze zmianą kolorystyki oraz wymieniono stolarkę okienną i drzwiową. Zlikwidowano wówczas charakterystyczne długie balkony w elewacji szczytowej od strony posesji oraz zamurowano wejście od ulicy Słonimskiej. Zachowała się jednak przedwojenna bryła gmachu, nawiązująca formą do modnego wówczas nurtu „okrętowego" z fasadą z narożnymi balkonami z rurowymi balustradami, flanującymi potężny wykusz z zygzakowym fryzem i dekoracyjnym trójkątnym parapetem okna trzeciej kondygnacji. Pierwotnie, fasadę wieńczył również niewielki krzyż łaciński na kuli. Dziś, dziwić może usytuowanie przez architekta fasady budynku w kierunku niewielkiej, ślepej uliczki i w stosunku do znajdującej się po sąsiedzku elewacji bocznej dawnej łaźni miejskiej. Należy jednak pamiętać, że zanim ona powstała, na gmach zakładu otwierała się szeroka perspektywa z zabudowanego później Starego Rynku.