აღწერა
ორგანიზაცია ეძებს AI QA ტრენერს, რომელიც გააუმჯობესებს დიდი ენობრივი მოდელების (LLM) ხარისხს და საიმედოობას. ძირითადი მოვალეობები მოიცავს: მოდელების შეფასება სხვადასხვა ამოცანებზე, როგორიცაა ჰალუცინაციების აღმოჩენა, ფაქტობრივი თანმიმდევრულობის შემოწმება, მოწამვლისა და გაქცევის წინააღმდეგობის ტესტირება, მიკერძოებისა და სამართლიანობის აუდიტი, ჯაჭვის-რეზონინგის საიმედოობის დადასტურება, ინსტრუმენტების სწორი გამოყენების გადამოწმება და სამუშაო ნაკადების შეფასება. კანდიდატი უნდა დოკუმენტირებდეს ყველა სახის შეცდომას. ყოველდღიურ საქმიანობაში შედის: მოდელთან საუბარი რეალურ სცენარებზე, ფაქტობრივი სიზუსტისა და ლოგიკური დასაბუთებულობის შემოწმება, ტესტის გეგმებისა და რეგრესიული ნაკრების შექმნა და გაშვება, მკაფიო კრიტერიუმებისა და შეფასების სისტემების შემუშავება, შეცდომების გამომწვევი მიზეზების დადგენა და გაუმჯობესების შეთავაზება. მოთხოვნები: სამუშაო გამოცდილება ML/AI სისტემების QA-ში, უსაფრთხოების/წითელი გუნდის (red-teaming) გამოცდილება. ტესტირების ავტომატიზაციის ჩარჩოების (მაგ. PyTest) ცოდნა. LLM შეფასების ინსტრუმენტებთან (მაგ. OpenAI Evals, RAG evaluators) მუშაობის გამოცდილება. სასურველია: შეფასების რუბრიკების დიზაინი, ადვერსარიული ტესტირება, რეგრესიული ტესტირება, მიკერძოებისა და სამართლიანობის აუდიტი, მონაცემთა გადამოწმება, პრომპტების ინჟინერია, ტესტირების ავტომატიზაცია (Python/SQL), მაღალი ხარისხის ბაგ-რეპორტინგი. აუცილებელია: მკაფიო კომუნიკაციის უნარი. განათლება: კომპიუტერული მეცნიერების, მონაცემთა მეცნიერების, გამოთვლითი ლინგვისტიკის, სტატისტიკის ან მასთან დაკავშირებულ სფეროში ბაკალავრის, მაგისტრის ან დოქტორის ხარისხი. სამუშაო სტილი: დისტანციური, საკონტრაქტო სამუშაო. ანაზღაურება: $6-$65 საათში, გამოცდილების მიხედვით. სარგებელი: არ ვრცელდება საკონტრაქტო თანამშრომლებზე (არ არის ჯანმრთელობის დაზღვევა, ანაზღაურებადი შვებულება). თანამშრომელმა უნდა უზრუნველყოს საკუთარი კომპიუტერი და მაღალსიჩქარიანი ინტერნეტი. Seniority: Mid-Senior Level.