W 2006 roku Kompany przeniósł się do Niemiec, gdzie przez dwa lata reprezentował Hamburger SV (29 meczów i jeden gol w Bundeslidze). Przełomowym momentem w jego karierze był transfer do Manchesteru City w sierpniu 2008 roku. W klubie z Etihad Stadium występował nieprzerwanie przez 11 lat, rozgrywając 360 spotkań, zdobywając 20 bramek.
Z Manchesterem City cztery razy sięgał po mistrzostwo Anglii, dwukrotnie zdobył Puchar Anglii oraz cztery razy Puchar Ligi Angielskiej. Wcześniej świętował również dwa tytułu mistrza Belgii z Anderlechtem.
Latem 2019 roku zdecydował się na powrót do Anderlechtu, gdzie został grającym trenerem. Piłkarską karierę definitywnie zakończył w tym roku, podejmując decyzję o skupieniu się na pracy trenerskiej.
Kompany ma na swoim koncie także 89 występów i cztery gole w pierwszej reprezentacji Belgii, z którą w 2018 roku zdobył brązowy medal mistrzostw świata.