Еще в школе он с приятелями любил устраивать импровизированные рок-н-ролльные концерты. Однажды Ян пригласил к себе домой своих школьных, товарищей, чтобы немного развлечься. Пришло 12 человек с гитарами. Те, у кого были все струны, изображали соло- и ритм-гитару, те, у кого струн не хватало - бас-гитаристов. Однако, веселое представление продолжалось недолго, потому что вскоре прибежали разъяренные шумом соседи и вышвырнули юных рокеров на улицу.

Первая группа, в которой начал играть Гиллан, называлась "Самогонщики". Она была создана на добровольных началах - каждый тащил из дому все, что могло пригодиться. Например, у Яна усилитель представлял собой старый магнитофон фирмы "Грюндик". Роль барабанщика исполнял Гиллан. В одной руке у него была палочка, в другой - щетка. Ян вспоминает: "Когда я пел, то некому было барабанить, а когда играл, то некому было петь".

Потом он выступал в различных клубах, а с 1961 по 1964 год играл в группе "Jabelin", одновременно работая ремонтником морозильных установок. Тогда Гиллан назвал себя "Джи Громовержец".

В 1964 году его приглашают в группу "Episode Six", где на бас-гитаре играет Роджер Главер, с которым Гиллан быстро подружился. Здесь Гиллан играет до 1969 года, после чего вместе с Главером переходит в "Deep Purple". В середине 1973 года из-за возникших музыкальных разногласий Гиллан и Главер покидают "Deep Purple".

После ухода из "Deep Purple" Гиллан в 1975 году создает собственную группу - "Ian Gillan Band". Ее состав: Ян Гиллан-вокал, Колин Таунс - клавишные, Марк Наусиф- ударные, Джон Густафсон - бас-гитара (знакомый Гиллану по совместной работе над постановкой и записью рок-оперы "Иисус Христос - Суперзвезда" (1970, двойной альбом)); Рэй Фенвик - гитара. Первый альбом группы назывался "Child In Time" (1976). В него была включена новая обработка одноименной песни "Deep Purple", отличающаяся от оригинала в худшую сторону. Среди композиций альбома преобладают плавные, лирические песни, блюзы. Соавтором ряда песен и продюсером альбома был Роджер Главер. Следующее альбомы "Ian Gillan Band" похожи на первый, хотя они несколько "потяжелее".

В 1978 году Гиллан распускает группу и, набрав новый аккомпанирующий состав, начинает выпускать сольные альбомы. На ударных в аккомпанирующем составе играет Мик Андервуд, выступавший с Гилланом еще в "Episode Six". Хотя Гиллан не расстается со своим любимым блюзом, музыка его сольных альбомов значительно разнообразнее и "тяжелее", чем у "Ian Gillan Band". Это и баллады, и "чистый" хард-рок, и рок-н-ролл, и блюзы, и даже довольно оригинальная разновидность симфо-рока. Разнообразны и тексты песен, большую часть которых пишет он сам. Это и лирические песенки, и антивоенные композиции, и мистико-философские, концептуальные произведения.

В 1982 году Гиллан переносит операцию гортани, долго болеет и распускает свою группу. Оказавшись "на мели", он дает согласие сотрудничать с группой "Black Sabbath". В 1983 году с его участием выходит малопопулярнкй альбом "Born Again". В 1984 году Гиллан возвращается во вновь собравшийся "Deep Purple".

До 1989 года все было хорошо, Гиллан снова пел в "Deep Purple" и уверял: ничего другого ему не нужно, (что не помешало ему параллельно с работой в "Deep Purple" в 1987 году совместно с Главером записать оригинальный "фанко-джаз-роковый" альбом "Accidentally On Purpose"). Очень похоже, что этот альбом музыканты действительно записали случайно - то ли спьяну, то ли деньги кончились. Но в 1989 году Гиллан, поругавшись публично с менеджером и, отчасти, с остальными музыкантами, вновь покинул "Deep Purple", заявив, что порывает с группой, за исключением Главера, с которым надеется сотрудничать и дальше.

Гиллан собрал новую группу "Moonshiners", которая успела записать "сорокапятку"; затем записал сольный долгоиграющий альбом "Naked Thunder" и отправился на гастроли. В 1990 году "Deep Purple" без Гиллана, записывают альбом "Slaves And Masters", где вокальные партии исполняет Джо Линн Тернер (известный по Rainbow). В 1991 году Гиллан возвращается в группу. "Deep Purple" и по сей день трудится на тяжкой ниве хард-рока.