W najwyższej klasie rozgrywkowej występował regularnie przez siedem sezonów. Na swoim koncie ma 241 występów, w których zdobył sześć bramek. Poza występami w Swansea, Williams bronił również barw Evertonu.
Ostatnie dwa lata swojej kariery spędził na boiskach Championship, broniąc barw Stoke City i Bristol City. Od sierpnia 2020 roku pozostaje bez klubu. Na swoim koncie ma również 86 występów i dwie bramki w reprezentacji Walii.