Selv med "høy scoring, men lav evne", hadde GROK2 enorme mengder av høykvalitets førstepartsdata fra X (Twitter) -plattformen for å støtte bruken. I opplæringen av GROK3 møtte imidlertid Xai naturlig "taket" som Openai for tiden står overfor - mangelen på premium treningsdata raskt utsetter den marginale nytten av modellens evner.

Utviklerne av GROK3 og Musk er sannsynligvis de første til å forstå og identifisere disse fakta dypt, og det er grunnen til at Musk kontinuerlig har nevnt på sosiale medier som versjonen brukere opplever nå er "fremdeles bare beta" og at "fullversjonen vil bli utgitt i løpet av de kommende månedene." Musk har tatt på seg rollen som GROK3s produktsjef, og antyder at brukere gir tilbakemelding på forskjellige problemer som er oppstått i kommentarfeltet.

Likevel, i løpet av en dag, økte GROK3s ytelse utvilsomt alarmer for de som håper å stole på "massiv beregningsmuskel" for å trene sterkere store modeller: basert på offentlig tilgjengelig Microsoft-informasjon, har Openais GPT-4 en parameterstørrelse på 1,8 billioner parametere, over ti ganger den av GPT-3. Ryktene antyder at parameterstørrelsen til GPT-4.5 kan være enda større.

Når modellparameterstørrelsene svever, øker treningskostnadene også. Med GROK3s tilstedeværelse, må utfordrere som GPT-4.5 og andre som ønsker å fortsette å "brenne penger" for å oppnå bedre modellytelse gjennom parameterstørrelse, vurdere taket som nå er tydelig i sikte og overveie hvordan man kan overvinne det. I dette øyeblikket hadde Ilya Sutskever, tidligere sjefforsker i Openai, tidligere uttalt i desember i fjor, "den pre-treningen vi er kjent med vil komme til slutt," som har dukket opp igjen i diskusjoner, noe som førte til innsats for å finne den sanne veien for å trene store modeller.