Mamadou Diabaté nasceu em Kita, uma cidade relativamente próxima a capital do Mali, Bamako. Conhecido por sua importância artística e cultural Manding, comunidade da África Ocidental. Ele nasceu em uma família de griots, com seu pai, Djelimory Diabaté, também músico, tocador de kora e membro do Ensemble Instrumental de Mali. Mudou-se com seu pai para Bamako, com quatro anos de idade, mas retornou à sua terra natal para frequentar a escola. Ele começou a tocar kora muito jovem, e ficou tão encantado com o instrumento, que sua mãe o proibiu que tocasse, para fazer trabalho acadêmico. Depois ele deixou a escola, para prosseguir com o instrumento. Diabaté tocou em vários eventos como: batizados e casamentos. Ele havia vencido diversos concursos de música e pela idade que tinha, 15 anos, estava se tornando uma espécie de celebridade regional, fazendo shows para personagens importantes.
Aos 16 anos ele foi para Bamako novamente, desta vez para estudar a kora com seu primo, o músico Toumani Diabaté. Em 1996, ele passou a viajar com um grupo “Ensemble Instrumental do Mali”, e se estabeleceu nos Estados Unidos, primeiro em Nova York , em seguida, em Durham, Carolina do Norte.
Desde sua mudança para os Estados Unidos, Diabaté já tocou com diversos músicos do país, incluindo cantores de jazz como: Randy Weston e Donald Byrd.
Diabaté foi indicado para um Grammy, mas perdeu para seu primo, Toumani. Ele recebeu uma segunda indicação em 2010, na categoria Melhor Música Tradicional do Mundo, para o seu álbum Douga Mansa, quando ganhou seu primeiro prêmio Grammy.