Kosovo graščino je leta 1521 zgradil zakupnik celjskih grofov Žiga Dietrichstein. Nad balkonskimi vrati je ohranjen belopeški grb, v virih pa jo omenjajo tudi kot “stari belopeški grad”. V 18. stoletju so si lastništvo podajali Khevenhüllerji s Koroške, knezi Eggenbergi in grofje Trillegkh. Leta 1812 jo je kupil trgovec Frančišek Pavel Kos in jo leta 1821 obnovil. Po njem je graščina dobila današnje ime. Konec 19. stoletja je stavbo od Kranjske industrijske družbe odkupila jeseniška srenja. V njej so bili do leta 1915 prostori ljudske šole, med obema vojnama uradi, sodišče in zapori. Danes deluje kot razstavišče Gornjesavskega muzeja Jesenice za občasne vizualno likovne in muzejske razstave.