Mamadou Diabaté (pronunciado mamadú) nació en 1975 en Kita, una ciudad de Mali conocida como centro de las artes y cultura mandinga en Africa Occidental. Como el nombre Diabaté indica, Mamadou procede de una familia de jelis, que es como se les conoce en el idioma mandinga. Los jelis son algo más que simples músicos tradicionales. Utilizan la música y a veces la oratoria para conservar y mantener la conciencia del pasado, un pasado que se remonta al Siglo XIII cuando el rey mandinga, Sunjata Keita consolidó el inmenso Imperio de Mali, que abarcada gran parte de Africa Occidental. Los cuentos de aquellos días gloriosos y las épocas desde entonces siguen siendo pilares fundamentales para el pueblo en la actualidad, no sólo para los mandingas, sino para muchos otros ciudadanos de Mali, Guinea, Gambia, y Senegal. 

El nacer en una familia distinguida de jelis en Kita es ya un buen augurio. El padre de Mamadou, Djelimory Diabaté, tocaba la kora, el arpa venerable de 21 cuerdas de los jeli, en el Conjunto Instrumental de Mali. A la edad de cuatro años, Mamadou se fue vivir con su padre que vivía en Bamako, en donde tiene su sede el conjunto. Cuando llegó el momento de regresar a a Kita y empezar sus estudios, Mamadou supo que la kora era su destino. Su padre le había enseñado cómo afinar el instrumento, y a partir de ahí escuchó y observó y se consagró a ensayar con la kora hasta el punto que su madre se inquietó porque no se concentraba lo suficiente en escuela. Cuando le quitó su kora, Mamadou redujo todavía más su interés en estudiar, y rápidamente se puso a fabricar su propia kora para poder continuar tocando.
Poco después, Mamadou dejó la escuela y empezó a tocar la kora con cantantes jeli locales, y viajó por toda la región tocando en ceremonias en las que los jelis actuales se ganan la vida. 

Cuando tenía quince años, Mamadou ganó el primer premio de kora en una competición regional y al instante se convirtió en una celebridad local. El año siguiente se fue a Bamako, y bajo el tutelaje de su primo famoso, el intérprete de kora, Toumani Diabaté, trabajó el circuito de los jeli, acompañando a cantantes en bodas y bautismos del barrio y proporcionando entretenimiento a los poderosos en el opulento Hotel Amitié de la ciudad. Toumani le dio el apodo a su primo de Djelika Djan, que significa "jeli alto," una referencia a la estatura física impresionante de Mamadou. 

En 1996 un grupo que iba de gira perteneciente al Conjunto Instrumental de Mali le ofreció la oportunidad a