Бастапқы білімді ауыл мектебінен алған. Семей педагогикалық техникумын, Ленинградтағы шығыстану институтын және Мемлекеттік материалдық мәдениет тарихы академиясының аспирантурасын бітірген. 1921-1925 жылдары «Таң» журналы мен «Қазақ тілі» газетінің редакцияларында қызмет атқарады. Осы жылдары ол М.Әуезовпен, М.Жұмабаевпен танысады. 1926-1927 жылдары КСРО Ғылым академиясының академигі А.Ферсман мен профессор С.Руденконың басшылығымен ұйымдастырылған Қазақстан және Алтай археологиялық және этнографиялық экспедицияларының жұмысына қатысады. Экспедиция кезінде Ә.Бөкейхановпен тығыз қарым-қатынас орнатып, бірлесіп қызмет істейді. 1928 жылдан қазақ халқына қатысты әдеби, мұрағаттық материалдар жинақтаумен шұғылданады. 1929 жылы Абай шығармалары туралы дипломдық жұмыс қорғап, орыс география қоғамы мұрағатындағы Абай қолжазбалары туралы нақты тарихи деректер негізінде ғылыми дәйекті тұжырымдар жасайды. 1930 жылдан Терминологиялық комиссияның ғалым хатшысы, Шығыстану институтының оқытушысы, Мәскеудегі материалдық мәдениет тарихы институтының ізденушісі және ғылыми қызметкері болады. Осы жылдары ол Шығыс Түркістан археологиясы мен өнері бойынша маманданып, бірнеше археологиялық экспедицияларға қатысады. 1939-1941 жылдары СССР Ғылым академиясының Қазақ бөлімшесі Тарих институтының аға ғылыми қызметкері болады. Осы жылдары оның «Мәшһүр Жүсіп мұрасындағы түркі эпосы», «Декабристер және Қазақстан», «Әлішер Науаи және қазақ мәдениеті», «Мұхаммед Хайдар - тарихшы», «Шоқан Уәлиханов және Орта Азия тарихы», «Суворов», «Жамбыл Жабаев» атты еңбектері жарық көреді. 1941 жылы СССР Ғылым Академиясы қазақ бөлімшесінің тарих бөлімін басқарды. Осы қызметте жүріп «Хандар жарлығының тарихи маңызы» деген тақырыпта қорғаған кандидаттық диссертациясында көне қыпшақ тарихына байланысты құнды зерттеулер жасайды. 1958-1976 жылдары Сырдария, Шу, Талас өзендері бойында және Отырар, Сауран, Сығанақ қалалары орнында қазба жұмыстарын жүргізіп, соның негізінде «Көне қазақ жерінің қалалары мен құрылыс өнерінің тарихы» аталатын монографиясын жариялайды. Қ.Ақышев, М.Қадырбаев, М.Оразбаевтармен бірге Орталық Қазақстанда жүргізген археологиялық қазба жұмыстарының қорытындысы саналатын «Орталық Қазақстанның ежелгі мәдениеті» атты ғылыми-зерттеу еңбегін жазып, кітаптың редакциясын басқарады. Ғалым сонымен қатар қырғыз халқының «Манас» эпосы туралы ғылыми-зерттеу ісінің дамуына үлес қосты. Ол өзіне дейінгі Қазақстанды зерттеуші орыс ғалымдарының қазақ даласы тек көшпелілер мекені болды деген тұжырымдарының шындыққа сай келмейтіндігін дәлелдеді. Ғалым 40-шы жылдардың аяғында бірнеше рет саяси қудалауға ұшырады, кейін де ұдайы саяси бақылауда болды, ғылыми ортаның кейбір қисынсыз сындарына ұшырады. Марғұлан тарих, археология, этнография, әдебиет, өнер (қолданбалы және сәулет өнері) және металлургия саласына қатысты 300-ден астам ғылыми-зерттеу жұмыстар, 100-ден астам энциклопедиялық мақалалар жазды, сонымен қатар қазақстандық этнографтардың, археологтардың, тарихшылардың бірнеше буынын даярлады. Оның ғылыми еңбектерінің бірқатары шет ел тілдеріне аударылды. Академик тапқан тарихи құндылықтардың 243-і бүгінгі таңда Ресей мұражайларында сақтаулы. Аталмыш құндылықтардың көпшілігі қазақ энциклопедиясында аталып өтіледі. Қазақстандық ғалым бірнеше мәрте құндылықтарды қайтаруға талаптанғанымен сәтсіздікке ұшыраған. Тек 1989 жылы Түркістандағы Қожа Ахмет Ясауи кесенесіне 1399 жылы Қарнақ қаласында Әбділәзиз Шарафутдинұлы Тебризи құйған «Тайқазан» қайтарылған. Қазан кеңес жылдары Ленинградқа әкетіліп, ұзақ уақыт сонда болған. Тайқазанның елге оралуына қазақстандық ғалымдардың, оның ішінде Әлкей Марғұланның көп еңбегі сіңген. 1991 жылы Ш.Уәлиханов атындағы Тарих, археология және этнография институтындағы археологиялық орталықтың негізінде Марғұлан атындағы Археология институты құрылды. Астана, Павлодар, Екібастұз, Жезқазған қалалары мен Оңтүстік Қазақстан облысында, Баянауыл, Екібастұз аудандарында бірнеше көшелер, мектептер Марғұлан есімімен аталады. Павлодар қаласында мүсіні орнатылған, сондай-ақ С.Торайғыров атындағы Павлодар педагогикалық университетінде Марғұлан атында стипендия тағайындалып, мұражай ашылған. 2004 жылы 100 жылдық мерейтойы ЮНЕСКО-ның шешімімен дүниежүзілік деңгейде аталып өтті. «Еңбек Қызыл Ту», «Халықтар достығы», «Ленин» ордендерімен және медальдармен марапатталған.