Müziğe 6 yaşında klasik batı müzikçi Emin Tarakçı Hoca'dan keman ve mandolin dersleri alarak başladı. 7 yaşında bağlama ve Türk Halk Müziği dersleri almaya başladı. 10 yaşında ilk beste çalışması olan Kara Kaşlı Esmerdi Kim Bilir Kimi Sevdi isimli eseri yaptı.

13 yaşında Türk Sanat Müziği ve tambur eğitimi almaya başladı. Ortaokul ve lise yıllarında Samsun, Edirne ve İstanbul musiki cemiyetlerinde yaylı tambur, THM cemiyetlerinde ise bağlama çaldı. Samsun ve İstanbul'da halk evlerinin kuruculuğunu yaptı. Kendi açtığı müzik dershanelerinde öğretmenlik yaptı.

İlk profosyonel bestesi Ruhumda Titreyen Sonsuz Bir Alevsin'i 14 yaşında yaptı.

16 yaşından itibaren jazz ve rock müziği ile ilgilenmeye başladı, batı nefesli sazlardan oluşan orkestralarda tenor sax çalarak görev yaptı. Istanbul'a gelerek konservatur sınavlarına girdi ve kazandı. İcra heyetinde 4 yıl görev yaptıktan sonra konservatuardan ayrıldı. Vatani görevini bahriyeli olarak sürdürdüğü yıllarda bandoda saksafon çalmaya devam etti.

20 yaşında TRT Ankara, 22 yaşında TRT İstanbul Radyosu sınavlarına girdi. Ankara radyosundan İstanbul radyosuna geçerek 10 ay çalıştı, kendi isteği ile ayrıldı.

1966'da Türkiye çapında yapılan bağlama çalma yarışmasında Arif Sağ ve Çinuçen Tanrıkorur ile birlikte derece aldı.

Arif Sağ ile birlikte 1966-1968 arası dönemde Muzaffer Akgün, Yıldız Tecan, Ahmet Sezgin, Şükran Ay, Sabahat Akkiraz, Nuri Sesigüzel gibi birçok sanatçıya bağlama çaldı. Bu dönem içinde Kızılırmak Karakoyun, Ana, Kuyu gibi Türk filmlerinin müzik direktörlüğünü yaptı. İstanbul'daki halk evlerinde Abdullah Nail Bayşu, İsmet Sıral, Burhan Tonguç, Erkin Koray, Ömer Faruk Tekbilek, Vedat Yıldırımbora, Özer Şenay, Neşet Ertaş gibi sanatçılarla sık sık bir araya gelip müzik yaparak gelecekte kendi ortaya koyacağı müziksel sentezin ilk meyvelerini verdi. Ağlıyorum Yana Yana, Gönül bağları, Yıldız Akşamdan Doğarsın, Neredesin Leylâ'm gibi türkü plakları çıkardı. Sevemedim Karagözlüm, Sabır Taşı, Koca Dünya gibi besteleri çeşitli sanatçılar tarafından okunmaya, sanat dünyasında adı besteci ve bağlama virtüözü olarak duyulmaya başlandı.

Türkü plâklarından sonra, 1968 yılında ilk serbest çalışmalar plâğı Sensiz Bahar Geçmiyor/Başa Gelen Çekilirmiş'i çıkardı.Bundan sonra Topkapı Plak ve İstanbul Plak'tan seri olarak plaklar çıkarmaya devam etti. 1969 yılında çıkardığı Bir Teselli Ver/Yorgun Gözler 45'liği ile Türkiye çapında ün yaptı. Bestekâr ve enstrümanist kimliğinin yanı sıra, yorumcu kimliği ile ön plana çıkmaya başladı. Ben Eski Halimle Daha Mesuttum, Hor Görme Garibi, Severek Ayrılalım, Ümit Şarkısı, Sevenler Mesut Olmaz gibi plaklara imza attı.

1972 yılında Yaşar Kekeva ile birlikte Kervan Plak şirketini kurdu, şirketin yöneticisi oldu. Kervan Plak, Türkiye'nin ilk yerli sermayeli plak şirketiydi. Bünyesine Erkin Koray, Ajda Pekkan, Muazzez Abacı, Mustafa Sağyaşar, Ahmet Özhan, Kamuran Akkor, Semiha Yankı, Samime Sanay, Neşe Karaböcek, Bedia Akartürk, Nil Burak, Ziya Taşkent, Semiramis Pekkan, Ferdi Özbeğen gibi starları alan Kervan Plak ,dönemin plak piyasasının en güçlü şirketlerinden biri oldu.

Orhan Gencebay, bugüne kadar 36 sinema filminde başrol oynadı, 90'a yakın filmde müzik direktörlüğü yaptı.

1000'den fazla bestesi bulunan Orhan Gencebay, bunların 400'e yakınını kendisi seslendirdi.

Orhan Gencebay'ın yaptığı çalışmalara TRT denetleme kurulunca arabesk dendiyse de, Orhan Gencebay bu değerlendirmeyi "yanlıştır ve eksiktir" diyerek kabul etmedi.

Yasal olarak 60 milyon civarı plak ve kaset tirajı olan Orhan Gencebay'ın, korsan üretimlerin yasal üretimlerden 2 kat fazla olduğu düşünülürse, yasal olmayan üretimlerle birlikte 200 milyon civarı tirajı olduğu tahmin ediliyor.Bu da; dünyanın sayılı tiraj rakamlarındandır.

Beyaz Kelebekler grubunun da eski solisti olan ses sanatçısı Azize Gencebay'dan boşanan Orhan Gencebay'ın Sevim Emre ile 30 yılı aşkın bir süredir resmî birlikteliği devam etmektedir. Oğlu Altan Gencebay halen Kervan Plak prodüktörlüğünü yürütmektedir.