1935 yılının İlkbahar ayında 300 hanelik köyün temeli atılmıştır. O zamanın şartlarına göre duvarları kerpiçten ve çatıları kargirden yapılan evlerin inşaatları kısa zamanda tamamlanarak hak sahiplerine teslim edilmiştir. Söz konusu bu yeni yerleşim yerine göçmenlerin Romanya’da ikamet ettikleri Kovancılar’ın adı verilmiştir.1935 yılında tamamen boş bir arazi üzerine kurulmuş bulunan Kovancılar’ın imar planı o zamanın imkanları ile en iyi şekilde hazırlanmış olup, Elazığ İli’nin örnek bir yerleşim alanı olmuştur. 1967 yılında Belediye Teşkilatı kurulmuş olup, daha sonra 19.06.1987 tarih ve 3392 Sayılı Kanun ile yerleşim yerimiz 05.05.1988 tarihinde ilçe statüsüne kavuşmuştur.
    İlçemizin Elazığ İlin’e uzaklığı 67 Km.dir  İlçemizin bugünkü İdari Teşkilatı 81 Köy, 68 Mezra, 10 Mahalle ve 1 Belediyeden ibarettir. Daha önce Palu İlçesine bağlı bir kasaba iken nüfusun çoğalması ve sürekli göç almasından dolayı hızlıca büyüyerek ilçe haline gelen Kovancılar, şu anda Elazığ İli’nin en büyük ilçesi konumundadır.
    İlçe Merkezi’nin nüfusu 2014 adrese dayalı nüfus sayımına göre 23.344, kasaba ve köylerin nüfusu ise 16.446 kişi olup, toplam nüfus 39.790’dır.
İlçe genelinde okuma-yazma oranı % 93 civarındadır. İlçemizde Halk Kütüphanesi ve bölgesel yayın yapan 1 adet radyo istasyonu mevcuttur. 
Anayollar üzerinde kavşak konumunda bulunan Kovancılar havaalanına 50 km mesafede bulunmaktadır. İlçemize bağlı tüm yerleşim birimlerinde telefon mevcut olup, GSM operatörlerinin tümü hizmet vermektedir. İlçemizde TRT yayınları ile  Ulusal yayın yapan tüm televizyon kanallarının yayını bulunmakta olup, diğer kanallar uydu üzerinden izlenmektedir. İlçemizde  demiryolu bulunmamakla birlikte Palu demiryolu istasyonu 7 km uzaklıktadır.
İlçenin geçmişi çok eskiye dayandığı ve yakın zamanda çok sayıda insanın buraya gelip yerleşmesi sonucunda homojen olmayan bir yapının oluşmasına yol açmıştır.