1945 yılında Erzurum'un Aşkale ilçesi Dağlı Köyü'nde dünyaya geldi. 3-4 yaşlarından itibaren kendisini babasının değirmeninde buldu. Müzikle ilk tanışması da orada oldu. Sanatçı bu süreci şöyle anlatır;

"Tek bir ses, suyun sesi. Su altta pervanelere vurur. Pervanenin dönerken çıkardığı ses ve bir de iki taşın birbirine sürtmesinin sesi birbirine karışır. O sesi değiştiren tek yabancı unsur vardır. O da kocaman, şakşak denen ağaçtır. Ağacın üzerine nal çakarlar. Taş döndükçe ona sürter, ara sıra taşın çakılları değer, şangır şungur sesler çıkarır. Yani düz sesi bir ritimle, değişik seslerle bozar. Değirmende bu sesleri sürekli dinlemek zorundasınız. Taşlar devamlı döner ve şakşak dediğimiz ağacın üstündeki o nalların sesi değirmen taşına müzikte duyduğun ritmi verir. Ve orada hayal kurarsın, rüya görürsün... Orkestralar yönetirdim orda kendimce. Müziği ben oradan hatırlıyorum. Müziğe kafamı taktığım, müzikle diyalogu kurduğum yıllar o yıllardır..."

Değirmentaşı ve su sesinin uyumu Arif Sağ'ın dinlediği ilk orkestraydı. 5 yaşında kavalla, 6 yaşında ise gramofon ve plakla tanıştı. Bağlamayla 7 yaşında iken Erzincan'da Kumaş Dede'nin dükkanında tanıştı. Bu dükkan Davut Sulari, Aşık Daimi, Ali Ekber Çiçek, Aşık Beyhani, Kemter Yusuf gibi nice ustaların yetişmesinde öncü olmuştu. 14 yaşına kadar aşıklık geleneğini öğrenip deyişler söylemeye başlayan sanatçı, sonraki yıllarda İstanbul'a geldi ve Aksaray Musiki Cemiyeti'nde Nida Tüfekçi'nin öğrencisi oldu. Bu dönemlerde müzikal altyapısını oluşturma dönemiydi. 1960 ve 70'li yıllar Arif Sağ için müzikte arayış yıllarıydı. Arif Sağ'ın, bu dönemin toplumsal hareketlerinin müzikle bağdaşan yanlarından çok, piyasadaki ve resmi kurumlardaki müzik uygulamalarına ağırlık verdiği söylenebilir. İlk plağı "Gafil Gezme Şaşkın Bir Gün Ölürsün"ü bu dönemde, 1963'te çıkarmıştı. 1965'de İstanbul Radyosu'na bağlama sanatçısı olarak girdi. Bu yıllarda Sağ'ın piyasadaki faaliyetleri de devam etmekteydi. Arif Sağ 45'lik plak dönemi olarak adlandırılan ve yaklaşık 20 yıl devam eden bu sürecin en parlak simalarındandı. Bu süreçte 45'in üzerinde plak, 200'ün üzerinde beste yaptı. Çeşitli sanatçılara bağlamasıyla eşlik etmesinin yanında, - yine bu dönemde- bestelerini de pek çok sanatçıya verdi. Yapılan müzik bugünkü terminolojiyle bir tür arabesk- fantazi benzeriydi; bestelerinde ise yerel motifleri çok sık kullandı.Bu da onun halk müziğinden kopamadığı gerçeğinin bir başka göstergesiydi.

1975'de kurulan "İstanbul Devlet Türk Müziği Konservatuarı"na "öğretim üyesi" olarak giren Arif Sağ, halk müziği ve bağlama konusundaki akademik çalışmalarını da bu dönemde başlattı. 1982'de konservatuardan ayrıldı, kendi adına "Arif Sağ Müzik Evi"ni kurdu. Bu arada Musa Eroğlu, Muhlis Akarsu ve Yavuz Top gibi bağlamanın diğer ustalarıyla Muhabbet serisinin ilk albümünü hazırdı. Uzun bir zamana yayılan bu birlikte çalışma, beş albüm ortaya çıkardı. 1982 yılında İstanbul Şan Tiyatrosu'nda ilk "Bağlama Resitali"ni verdi. Sonrasında bu dönemlerde Avrupa'nın bir çok ülkesi ile Uzakdoğu'da (Japonya'da) halk müziğimizi ve halk çalgımızı tanıtıcı çalışmalar yaptı. Ülkemizde müzik alanında kişisel renklere ve üstün yeteneklere sık rastlanmasına rağmen, bağlama çalgısında bir ekol yaratan sanatçı sayısı parmakla sayılacak kadar azdır. İşte bunlardan birisi ve -şimdilik - sonuncusu Arif Sağ'dır. Bağlamaya teknik bakımdan hakim olduğu kadar Arif Sağ'ın icrası, yerel tavırlar, repertuar ve duygu bakımından da zenginliklerle doludur. Halk müziği ve bağlama alanında özgün arayışlarını yoğunlaştırarak sürdüren Arif Sağ, bir dönem (1987-1991) mecliste "milletvekili" olarak bulunan ilk sanatçıdır. 5 Mayıs 1996'da Almanya Cumhurbaşkanı Sayın Roman Herzog'un desteği ile Köln Flarmoni Orkestrası ile Köln Flarmoni Salonu'nda verdiği konserle Anadolu müziğinin batıya tanıtılmasına ciddi katkıları oldu. 1996 yılında Köln Senfoni Orkestrası eşliğinde Erdal Erzincan ve Erol Parlak'la birlikte Köln'de verdiği konser büyük ilgi gördü ve yine aynı yıl Cumhurbaşkanlığı tarafından verilen özel ödülü aldı. Arif Sağ, sazında günlük yaşamın ekmek-su gibi doğal bir parçası sayılan Anadolu Aleviliği'nin "aşık-ozan" geleneği ortamında yaşayarak yetişti.

Son olarak 21. 01. 2000 - 05. 02. 2000 tarihleri arasında, İspanya'nın ünlü Flamenko gitaristi Toma Tito ile Avrupa'nın 12 ayrı şehrinde konserler vererek bağlamanın yurt dışında tanınmasını ve hak ettiği övgüyü almasını sağladı. Sanatçı evli ve iki çocuk babasıdır.