Inteligența artificială GPT. ChatGPT, chatbotul dezvoltat de compania OpenAI, a fost revelației industriei AI din ultimii ani, și totodată aplicația care a atras atenția publicului din întreaga lume asupra progreselor uriașe făcute de inteligența arficială în ultimul deceniu.
Ce este ChatGPT
Lansat pe 30 noiembrie 2022, ChatGPT este un chatbot, adică o aplicație software care poate imita conversația umană prin interacțiuni text. Chatbotul online folosește inteligența artificială generativă și poate să poarte o conversație cu un utilizator în limbaj natural, simulând modul în care s-ar comporta un om ca partener de discuție.
Ce înseamnă GPT
Acronimul GPT vine de la „Generative Pre-training Transformer” („transformator generativ pre-antrenat”). Astfel, GPT este o familie de modele de limbaj instruite în general pe un corp mare de date text, cu scopul de a genera text în mod similar oamenilor.
GPT-urile sunt construite folosind mai multe blocuri ale arhitecturii transformatorului și pot fi reglate pentru diverse sarcini de procesare a limbajului natural, cum ar fi generarea de text, traducere automată și clasificarea textelor, potrivit Wikipedia.org.
Inteligența artificială GPT – ce este „pre-antrenarea”
„Pre-antrenarea” sau „pre-instruirea” din numele său se referă la procesul de formare inițială pe un corpus textual mare în care modelul de limbaj învață să prezică următorul cuvânt dintr-un pasaj, mai notează sursa citată. În acest fel modelul învață să funcționeze bine la îndeplinirea sarcinilor ulterioare.
Așadar, fiind pregătite în prealabil pe seturi mari de date de text, GPT-urile sunt capabile să genereze conținut nou, într-un mod asemănător omului.
Inteligența artificială GPT – scurt istoric
Primul GPT a fost introdus în 2018 de OpenAI. În acel an, compania a publicat un articol cu titlul „Îmbunătățirea înțelegerii limbajului prin pre-antrenare generativă”, în care a introdus pentru prima dată termenul GPT („transformator generativ pre-antrenat”).
Ce poate face Chat GPT. 12 moduri în care poate fi utilizat
Până atunci, cele mai performante modele de procesare a limbajului natural utilizau în mod obișnuit învățarea supravegheată pe baza unor volume mari de date etichetate manual. Dependența acestora de învățarea supravegheată a limitat utilizarea lor pe seturi de date care nu erau bine adnotate, potrivit Wikipedia.org. De asemenea, din aceste motive, antrenarea acestor modele de limbaj foarte mari era extrem de costisitoare și de consumatoare de timp.
Însă abordarea semi-supravegheată folosită de OpenAI a implicat două etape: o etapă de „pre-antrenament” generativă, nesupravegheată, pentru a seta parametrii inițiali, și o etapă supervizată de „ajustare fină”, pentru a adapta acești parametri la o sarcină setată.
Inteligența artificială GPT – seria lansată de OpenAI
Până acum, cele mai notabile modele GPT sunt cele din seria GPT-n a OpenAI. La rândul lor, aceste modele alimentează chatboți precum ChatGPT.
Compania a lansat mai multe modele GPT foarte influente, care au fost numerotate. Fiecare dintre acestea fost semnificativ mai capabil decât precedentul, atât datorită antrenamentului mai amplu, cât și datorită dimensiunii crescute (a numărului de parametri antrenabili).
Inteligența artificială GPT – exemple de modele
GPT-1 are 117 milioane de parametri. Lansat în iunie 2018, primul model GPT a fost antrenat pe BookCorpus, ce constă în 4,5 GB de text din aproximativ 7.000 de cărți din diferite genuri auto-publicate, extrase de pe site-ul independent de distribuție de cărți electronice Smashwords.
GPT-2. Având 1,5 miliarde de parametri, acest model GPT a fost antrenat pe WebText, ce constă în 40 GB de text din 45 de milioane de pagini web votate de utilizatori pe rețeaua de socializare Reddit. A fost lansat în februarie 2019.
GPT-3. Lansat în mai 2020, GPT-3 are 175 de miliarde de parametri și a fost antrenat pe 499 de miliarde de tokene ce au constat în: 570 GB de date CommonCrawl, WebText, Wikipedia în engleză, Book1 și Books2.
GPT-3.5. Lansat în martie 2022, modelul are 175 de miliarde de parametri.
GPT-4, cel mai nou model lansat de OpenAI
GPT-4. Cel mai recent astfel de model, GPT-4, a fost lansat în martie 2023. Pentru GPT-4, OpenAI a refuzat să publice informații privind numărul de parametri și corpusul de antrenament, invocând „peisajul competitiv și implicațiile referitoare la siguranță”.
Totuși, din informațiile apărute în spațiul public, se pare că GPT-4 se bazează pe 8 modele cu 220 de miliarde de parametri fiecare, ceea ce înseamnă că modelul ar avea 1,76 trilioane de parametri. GPT-4 acceptă ca input atât text, cât și imagini. Însă output-ul său este limitat la text.
În ceea ce privește ChatGPT, utilizatorii au acces gratuit la versiunea bazată pe GPT-3.5. Accesul la versiunea de chatbot bazată pe GPT-4 și la alte caracteristici mai avansate sunt accesibile cu plată, prin abonament (ChatGPT Plus).
Inteligența artificială GPT – modelele Google și Meta
Termenul GPT este folosit și în denumirile și descrierile unor astfel de modele dezvoltate de alte companii, ca de exemplu cele create de EleutherAI (începând cu 2021), de Cerebras (7 modele lansate în 2023) sau de Together (GPT-JT)
Alte modele similare cu GPT sunt PaLM de la Google sau LLaMA de la Meta.
Foto: Franz26 / Frank_Reppold / pixabay.com
Dacă acest articol despre inteligența artificială GPT vi s-a părut util, v-ar putea interesa și:
Inteligența artificială în vânzări. 8 aplicații și 5 instrumente cu AI
Inteligența artificială în armată. 10 aplicații și beneficii
Inteligența artificială în asigurări. 5 aplicații și avantaje
Inteligența artificială în arhitectură. 11 aplicații și avantaje
Inteligența artificială în alimentație. Cum ne ajută aplicațiile AI
Platforme de inteligență artificială. 5 exemple și caracteristicile lor
Inteligența artificială în contabilitate. 5 aplicații și avantajele lor
Inteligența artificială în transport. 5 aplicații și beneficiile lor
Inteligența artificială în școli. 10 aplicații și 3 sfaturi pentru profesori
Inteligența artificială în marketing. Exemple, utilizări, beneficii
