აღწერა

ტექნიკური პერსონალის წევრის, ტრენინგ ინჟინრის პოზიცია, რომელიც პასუხისმგებელია დიდი მასშტაბის ფონდური მოდელების ტრენინგზე. ძირითადი პასუხისმგებლობები მოიცავს: დიდი ენობრივი მოდელების (LLM) დიდი მასშტაბით წინასწარ ტრენინგის დიზაინი და მართვა GPU კლასტერებზე. მონაწილეობა მონაცემთა მილსადენების შემუშავებაში, დისტრიბუციული ტრენინგის პროცესის ოპტიმიზაციაში და მოდელის ტრენინგის პროცესის დასრულებამდე მიყვანაში. ასევე, მონაწილეობა ტექნიკური გადაწყვეტილებების მიღებაში, რომელიც დაკავშირებულია მოდელის მუშაობის, სტაბილურობისა და შესაძლებლობების გაუმჯობესებასთან. მოთხოვნები: კომპიუტერულ მეცნიერებათა, ინჟინერიის ან მასთან დაკავშირებულ სფეროში ბაკალავრის ან მაგისტრის ხარისხი. 7-12 წლიანი გამოცდილება, მათ შორის მინიმუმ 2 წელი დიდი ტრანსფორმერების მასშტაბურ ტრენინგში (10B-100B+ პარამეტრი). PyTorch-ის ექსპერტული ცოდნა, CUDA/Triton-ის საფუძვლების გაგება, დისტრიბუციული ტრენინგის ჩარჩოებთან (FSDP/ZeRO) და მულტი-დი-მენსიონალური პარალელიზმით (TP/PP/EP/DP/CP) მუშაობის გამოცდილება. მნიშვნელოვანია კვლევითი ინტუიციის, საინჟინრო ექსპერტიზისა და ძლიერი კომუნიკაციისა და თანამშრომლობის უნარი. განიხილება MoE-ის (Mixture of Experts) წინასწარი ტრენინგის გამოცდილება. სამუშაო სტილი: სწრაფად მზარდ, სტარტაპ-სტილის გარემოში მუშაობის უნარი. მისია-ორიენტირებული და მეცნიერული გამოწვევებით მოტივირებული მიდგომა. შესაძლო ბენეფიტები: მონაწილეობა სამეცნიერო აღმოჩენების დაჩქარებაში და უნივერსიტეტის ფუნდამენტური პრობლემების გადაჭრაში.