Pokud je to všeobecný název "gymnázium", tak malým: gymnázium v Praze, gymnázium v Brně. Pokud uvádíte přesný název, tak se píše "Gymnázium Jevíčko" - název vystihuje i místopis. Trochu krkolomná věta by byla: půjdu na gymnázium Gymnázium Jevíčko do Jevíčka :)
Více o gymnáziu: https://www.gymjev.cz/