OpenAI: Różnice pomiędzy wersjami
[wersja przejrzana] | [wersja przejrzana] |
coś pomieszane w przypisach; Wycofano ostatnią zmianę treści (wprowadzoną przez 31.61.174.180) i przywrócono wersję 73423288 autorstwa Snow Lion Fenian Znacznik: Ręczne wycofanie zmian |
Nie podano opisu zmian |
||
Linia 171: | Linia 171: | ||
==== GPT-4 ==== |
==== GPT-4 ==== |
||
14 marca 2023 OpenAI ogłosiło wydanie Generative Pre-trained Transformer 4 ({{link-interwiki|GPT-4|Q=Q116709136}}), zdolnego do przyjmowania danych wejściowych w postaci tekstu lub obrazu<ref name="Vincent 2023 01">{{Cytuj stronę | url = https://www.theverge.com/2023/3/14/23638033/openai-gpt-4-chatgpt-multimodal-deep-learning | tytuł = OpenAI announces GPT-4 — the next generation of its AI language model | nazwisko = Vincent | imię = James | data = 2023-03-14 | opublikowany = The Verge | język = en | data dostępu = 2023-06-18}}</ref>. OpenAI ogłosiło, że zaktualizowana technologia zdała symulowany egzamin adwokacki w szkole prawniczej z wynikiem w grupie 10% najlepszych zdających; dla porównania, poprzednia wersja, GPT-3.5, uzyskała wynik w grupie 10% najniższych wyników. GPT-4 może również czytać, analizować lub generować do 25 000 słów tekstu i pisać kod we wszystkich głównych językach programowania<ref name="Wiggers 2023 01">{{Cytuj stronę | url = https://techcrunch.com/2023/03/14/openai-releases-gpt-4-ai-that-it-claims-is-state-of-the-art/ | tytuł = OpenAI releases GPT-4, a multimodal AI that it claims is state-of-the-art | nazwisko = Wiggers | imię = Kyle | data = 2023-03-15 | opublikowany = Join TechCrunch+ | język = en | data dostępu = 2023-06-18}}</ref> |
14 marca 2023 OpenAI ogłosiło wydanie Generative Pre-trained Transformer 4 ({{link-interwiki|GPT-4|Q=Q116709136}}), zdolnego do przyjmowania danych wejściowych w postaci tekstu lub obrazu<ref name="Vincent 2023 01">{{Cytuj stronę | url = https://www.theverge.com/2023/3/14/23638033/openai-gpt-4-chatgpt-multimodal-deep-learning | tytuł = OpenAI announces GPT-4 — the next generation of its AI language model | nazwisko = Vincent | imię = James | data = 2023-03-14 | opublikowany = The Verge | język = en | data dostępu = 2023-06-18}}</ref>. OpenAI ogłosiło, że zaktualizowana technologia zdała symulowany egzamin adwokacki w szkole prawniczej z wynikiem w grupie 10% najlepszych zdających; dla porównania, poprzednia wersja, GPT-3.5, uzyskała wynik w grupie 10% najniższych wyników. GPT-4 może również czytać, analizować lub generować do 25 000 słów tekstu i pisać kod we wszystkich głównych językach programowania<ref name="Wiggers 2023 01">{{Cytuj stronę | url = https://techcrunch.com/2023/03/14/openai-releases-gpt-4-ai-that-it-claims-is-state-of-the-art/ | tytuł = OpenAI releases GPT-4, a multimodal AI that it claims is state-of-the-art | nazwisko = Wiggers | imię = Kyle | data = 2023-03-15 | opublikowany = Join TechCrunch+ | język = en | data dostępu = 2023-06-18}}</ref>. |
||
== Zobacz też == |
== Zobacz też == |
Wersja z 11:12, 30 maj 2024
Pierwsza siedziba OpenAI w Pioneer Building, San Francisco | |
Państwo | |
---|---|
Siedziba | |
Prezes |
Sam Altman (CEO) |
Zatrudnienie |
375 (styczeń 2023)[1] |
Położenie na mapie San Francisco | |
Położenie na mapie Stanów Zjednoczonych | |
Położenie na mapie Kalifornii | |
Strona internetowa |
OpenAI – amerykańskie laboratorium badawcze założone w 2015 roku, specjalizujące się w dziedzinie sztucznej inteligencji[2]. Organizacja składa się z dwóch części: OpenAI Incorporated (non-profit) oraz OpenAI Limited Partnership (spółka-córka, działająca w celach komercyjnych). Celem badań prowadzonych przez OpenAI jest promowanie i rozwijanie sztucznej inteligencji przyjaznej dla człowieka.
Historia
2015–2018 OpenAI non-profit
W grudniu 2015, w San Francisco, ogłoszono założenie OpenAI non-profit. Grupę inwestorów – założycieli[3] stanowili: Sam Altman, Greg Brockman, Reid Hoffman, Jessica Livingston, Peter Thiel, Elon Musk, Amazon Web Services (AWS), Infosys i YC Research, którzy zadeklarowali wpłatę łącznej kwoty 1 miliarda dolarów amerykańskich na założenie organizacji[4]. Do inwestorów dołączyła grupa dziewięciu światowej klasy naukowców – założycieli: Ilya Sutskever, Greg Brockman, Trevor Blackwell, Vicki Cheung, Andrej Karpathy, Durk Kingma, John Schulman, Pamela Vagata i Wojciech Zaremba[3].
W grupie doradców znaleźli się: Pieter Abbeel, Yoshua Bengio, Alan Kay, Sergey Levine i Vishal Sikka. Na czele grupy kreatorów przedsięwzięcia stanęli Sam Altman i Elon Musk[3]. Z deklaracji twórców OpenAI zawartej na stronie: „Naszym celem jest rozwój cyfrowej inteligencji w sposób, który z największym prawdopodobieństwem przyniesie korzyści całej ludzkości, bez konieczności generowania zysków finansowych. Uważamy, że sztuczna inteligencja powinna być przedłużeniem indywidualnej ludzkiej woli i, w duchu wolności, powinna być dystrybuowana tak szeroko i równomiernie, jak to tylko możliwe”[3][5]. Pierwsza siedziba OpenAI znajdowała się w Pioneer Building w Mission District w San Francisco[6]. W 2022 OpenAI zmieniło siedzibę główną, ale pozostało w San Francisco[7].
W kwietniu 2016 OpenAI udostępniło do publicznego użytku wersję beta „OpenAI Gym”, swojej platformy do badań nad uczeniem przez wzmacnianie[8][9]. W grudniu 2016 OpenAI udostępniło do publicznego użytku „Universe”, platformę programową do pomiaru i szkolenia ogólnej inteligencji AI w całej światowej podaży gier, stron internetowych i innych aplikacji[10][11][12][13].
W 2017 OpenAI wydało 7,9 mln dolarów, czyli jedną czwartą swoich wydatków funkcjonalnych, na samo przetwarzanie w chmurze. Dla porównania, całkowite wydatki DeepMind w 2017 roku wyniosły 442 mln dolarów. Latem 2018 roku samo szkolenie botów OpenAI w grze Dota 2 wymagało wynajęcia 128 000 procesorów i 256 procesorów graficznych od Google na wiele tygodni.
W 2018 Musk zrezygnował z zasiadania w zarządzie OpenAI, powołując się na „potencjalny przyszły konflikt interesów” ze swoją rolą dyrektora generalnego Tesli, ze względu na rozwój sztucznej inteligencji Tesli dla samojezdnych samochodów[14]. Sam Altman twierdzi, że Musk uważał, że OpenAI pozostało w tyle za innymi graczami, takimi jak Google, a Musk zaproponował zamiast tego przejęcie samego OpenAI, co zarząd odrzucił. Musk następnie opuścił OpenAI, twierdził, że pozostaje darczyńcą, ale nie przekazał żadnych darowizn po swoim odejściu[15].
od 2019: OpenAI for-profit
W 2019 roku, OpenAI Inc. ogłosiło powstanie spółki córki for-profit OpenAI LP, z zyskiem ograniczonym do 100-krotności wszelkich inwestycji[16]. Argumentując powstanie spółki for-profit OpenAI tłumaczyło, że pozwoli to legalnie przyciągać inwestycje z funduszy venture, a dodatkowo umożliwia przyznawanie pracownikom udziałów w firmie, co w zamierzeniu ma zachęcić więcej osób do dołączenia do zespołu[17][18]. Przed przekształceniem prawnie wymagane było publiczne ujawnienie wynagrodzeń najlepszych pracowników w OpenAI[19].
Nowa firma rozdała pracownikom akcje i ogłosiła pakiet inwestycyjny w wysokości 1 miliarda dolarów. Microsoft zainwestował i podjął współpracę[20]. Od tego czasu systemy OpenAI działają na opartej na Azure platformie superkomputerowej firmy Microsoft[21][22][23]. OpenAI ogłosiło również zamiar komercyjnego licencjonowania swoich technologii[24]. Altman stwierdził, że nawet miliard dolarów może okazać się niewystarczający, a laboratorium może ostatecznie potrzebować „więcej kapitału niż jakakolwiek organizacja non-profit kiedykolwiek zebrał”, aby osiągnąć silną sztuczną inteligencję[25]. Organizacja non-profit, OpenAI Inc, jest jedynym udziałowcem kontrolującym OpenAI LP. OpenAI LP, mimo że jest spółką for-profit, zachowuje formalną odpowiedzialność powierniczą wobec OpenAI Inc. Większość zarządu OpenAI Inc. nie może mieć udziałów finansowych w OpenAI LP[17]. Ponadto, członkowie mniejszościowi mający udziały w OpenAI LP nie mogą brać udziału w niektórych głosowaniach ze względu na konflikt interesów[18].
2020–2023: ChatGPT, DALL-E
W 2020 OpenAI korzystało z piątego najpotężniejszego superkomputera na świecie[26][27][28]. W 2020 roku OpenAI ogłosiło GPT-3, model językowy wytrenowany na dużych internetowych zbiorach danych. GPT-3 ma na celu odpowiadanie na pytania w języku naturalnym, ale może również tworzyć tłumaczenia między niektórymi językami i spójnie generować improwizowany tekst[29]. Przy czym tekst wyglądający na spójny nie zawsze jest zgodny z rzeczywistością (tzw. halucynacje )[30][31].
W 2021 roku OpenAI udostępnił DALL-E, model głębokiego uczenia, który może generować cyfrowe obrazy z opisów w języku naturalnym[32]. Rok później dodana została również możliwość generowania domniemanej kontynuacji obrazu i ogólnie edycja z możliwością m.in. dorysowywania opisanych elementów na przesłanej fotografii[33][34].
W grudniu 2022 OpenAI uzyskał szeroki rozgłos w mediach, na całym świecie, po uruchomieniu bezpłatnego dostępu do ChatGPT[35], swojego nowego chatbota AI opartego na GPT-3.5. Według OpenAI, w ciągu pierwszych pięciu dni otrzymano ponad milion zgłoszeń[36][37].
23 stycznia 2023 Microsoft ogłosił nową wieloletnią inwestycję w OpenAI o wartości 10 mld US dolarów[1][38][39][40].
7 lutego 2023 roku Microsoft ogłosił, że wbudowuje technologię AI opartą na tym samym fundamencie co ChatGPT do Microsoft Bing, Edge, Microsoft 365 i innych produktów[41].
3 marca 2023 Reid Hoffman złożył rezygnację z funkcji w zarządzie OpenAI, powołując się na chęć uniknięcia konfliktu interesów między jego pracami w zarządzie w OpenAI a inwestycjami w firmy zajmujące się technologią sztucznej inteligencji za pośrednictwem Greylock Partners[42], a także swoją rolą jako współzałożyciel startup technologii sztucznej inteligencji Inflection AI. Hoffman pozostał w zarządzie Microsoftu, głównego inwestora w OpenAI[43].
14 marca 2023 OpenAI udostępniło nowy model GPT-4, zarówno jako interfejs API (z listą oczekujących), jak i jako płatną edycję czatu: ChatGPT Plus[44].
22 maja 2023 twórcy OpenAI – Sam Altman, Greg Brockman i Ilya Sutskever – opublikowali zalecenia dotyczące zarządzania superinteligencją[45]. Uważają, że superinteligencja może się pojawić w ciągu najbliższych 10 lat, umożliwiając „dramatycznie pomyślniejszą przyszłość” i że „biorąc pod uwagę ryzyko egzystencjalne, nie możemy pozostawać bezczynni”. Proponują utworzenie międzynarodowej organizacji nadzorującej podobnej do MAEA, która nadzorowałaby systemy sztucznej inteligencji powyżej pewnego progu zdolności. Z drugiej strony sugerowali, że słabe systemy sztucznej inteligencji nie powinny być nadmiernie regulowane. Wzywają również do większej liczby badań nad bezpieczeństwem technicznym dla superinteligencji i proszą o większą koordynację, na przykład poprzez uruchomienie przez rządy wspólnego projektu, którego „wiele obecnych wysiłków staje się częścią”[45][46].
17 listopada 2023 Sam Altman stracił stanowisko dyrektora generalnego, a Greg Brockman złożył rezygnację. Ponad 700 spośród 770 pracowników tej firmy podpisało list otwarty, w którym zagrozili, że zbiorowo przejdą do Microsoftu, chyba że rada nadzorcza ponownie zatrudni Altmana i sama ustąpi ze stanowisk[47]. 18 listopada 2023 roku pojawiły się informacje o rozmowach dotyczących powrotu Altmana na stanowisko CEO OpenAI pod presją inwestorów, takich jak Microsoft i Thrive Capital[48]. Altman rozważał założenie nowej firmy z byłymi pracownikami OpenAI, jeśli rozmowy się nie powiodą[49]. 19 listopada rozmowy zawiodły, a Altmana zastąpił Emmett Shear jako tymczasowy CEO[50]. 20 listopada CEO Microsoftu, Satya Nadella, ogłosił, że Altman i Brockman dołączą do firmy, aby prowadzić nowy zespół badawczy w dziedzinie zaawansowanej AI, mimo niepowodzenia rozmów z OpenAI[51]. 21 listopada, po kontynuowanych negocjacjach, Altman i Brockman powrócili do OpenAI na swoje poprzednie stanowiska z rekonstruowaną radą dyrektorów[52]. 22 listopada pojawiły się doniesienia, że zwolnienie Altmana z OpenAI może być związane z jego rzekomym niewłaściwym zarządzaniem znaczącym przełomem w tajnym projekcie „Q*”, który miał na celu rozwijanie umiejętności AI w zakresie logiki i rozumowania matematycznego[53].
Osoby zaangażowane w tworzenie OpenAI
Najważniejsi w zarządzaniu:
- Sam Altman, CEO[54] i współzałożyciel, wcześniej prezes inkubatora starupów technologicznych Y Combinator
- Greg Brockman, prezes, przewodniczacy[55] i współzałożyciel OpenAI, wcześniej CTO (Chief Technology Officer) w Stripe
- Ilya Sutskever, Naczelny Naukowiec (Chief Scientist) i współzałożyciel, uprzednio ekspert Google ds. uczenia maszynowego[56]
- Mira Murati, CTO (Chief Technology Officer)[55], uprzednio w Leap Motion i Tesla, Inc.
- Brad Lightcap, COO (Chief Operating Officer)[55], uprzednio w Y Combinator i JPMorgan Chase
Zarząd organizacji non-profit OpenAI:
- Greg Brockman
- Ilya Sutskever
- Sam Altman
- Adam D’Angelo
- Will Hurd
- Tasha McCauley
- Helen Toner
- Shivon Zilis
Inwestorzy indywidualni[56]:
- Reid Hoffman, współzałożyciel LinkedIn[57]
- Peter Thiel, współzałożyciel PayPal[57]
- Jessica Livingston, partner wspierający Y Combinator
Inwestorzy korporacyjni:
Produkty i zastosowania
Od 2021 r. badania OpenAI koncentrują się na uczeniu przez wzmacnianie (RL)[59]. OpenAI jest postrzegane jako ważny konkurent DeepMind[60].
Gym
Ogłoszony w 2016 Gym ma na celu zapewnienie łatwego do wdrożenia testu wzorcowego dla ogólnej SI w wielu różnych środowiskach – podobnego, ale szerszego niż ImageNet Large Scale Visual Recognition Challenge , który stosowany jest w badaniach nad uczeniem nadzorowanym. Ma on na celu standaryzację sposobu definiowania środowisk w publikacjach dotyczących badań nad sztuczną inteligencją, tak aby opublikowane badania stały się bardziej powtarzalne[8][61].
Od czerwca 2017 Gym może być używany tylko z Pythonem[62]. Od września 2017 strona z dokumentacją Gym nie była prowadzona, a aktywne prace przeniosły się na serwis GitHub[63].
RoboSumo
Udostępnione w 2017 roku RoboSumo to wirtualny świat , w którym humanoidalne uczące się roboty początkowo nie wiedzą nawet, jak chodzić, ale mają za zadanie nauczyć się poruszać i wypchnąć przeciwnika z ringu[64]. Technologia procesu uczenia się jest demonstrowana poprzez wirtualne zapasy sumo.
Wirtualni zapaśnicy wykorzystują sprytne podejście do uczenia się w szybko zmieniającym się środowisku podczas walki z przeciwnikiem. Agenci wykorzystują formę uczenia się ze wzmocnieniem, czyli technikę inspirowaną sposobem, w jaki zwierzęta uczą się poprzez informacje zwrotne. Technika ta okazała się przydatna w szkoleniu komputerów do grania w gry i kontrolowania robotów[65].
Boty w grach wideo i testy porównawcze
OpenAI Five
OpenAI Five to nazwa zespołu pięciu botów stworzonych przez OpenAI, używanych w konkurencyjnej grze wideo Dota 2, w której uczą się grać przeciwko ludzkim graczom na wysokim poziomie umiejętności całkowicie za pomocą algorytmów prób i błędów. Zanim zespół stał się pięcioosobową drużyną, pierwsza publiczna demonstracja miała miejsce podczas The International 2017 , corocznego premierowego turnieju mistrzowskiego w grze, w którym Dendi , profesjonalny ukraiński gracz, przegrał, w pojedynku nażywo, jeden na jeden[66][67]. Po meczu, Greg Brockman wyjaśnił, że bot uczył się grając przeciwko sobie przez dwa tygodnie w czasie rzeczywistym, a oprogramowanie uczące się było krokiem w kierunku stworzenia oprogramowania, które może obsługiwać złożone zadania, takie jak decyzje chirurga[68][69][70]. W pracach testowania Dota 2 służących doskonaleniu działania sztucznej inteligencji brali udział polscy naukowcy, informatycy, m.in.ː Jakub Pachocki, Szymon Sidor, Wojciech Zaremba, i inni[71].
System wykorzystuje formę uczenia się ze wzmocnieniem, ponieważ boty uczą się z czasem, grając przeciwko sobie setki razy dziennie przez miesiące i są nagradzane za takie działania, jak zabicie wroga i zajęcie celów mapy[72][73][74].
Do czerwca 2018 r. zdolność botów rozszerzyła się, aby grać razem jako pełna pięcioosobowa drużyna i były one w stanie pokonać drużyny amatorów i półprofesjonalnych graczy[75][72][70]. Na The International 2018 , OpenAI Five zagrał w dwóch meczach pokazowych z profesjonalnymi graczami, ale ostatecznie przegrał oba mecze[76][77][78]. W kwietniu 2019 OpenAI Five pokonał OG, ówczesnych mistrzów świata w grze, 2:0 w meczu pokazowym na żywo w San Francisco[79][80]. Ostatni publiczny występ botów miał miejsce później w tym samym miesiącu, gdzie zagrali w 42 729 meczach w czterodniowych otwartych zawodach online, wygrywając 99,4% z nich[81].
GYM Retro
Wydana w 2018 Gym Retro to platforma do badań nad RL[82] w grach wideo[83]. Gym Retro służy do badania algorytmów RL i uogólniania badań. Wcześniejsze badania nad RL koncentrowały się głównie na optymalizacji agentów do rozwiązywania pojedynczych zadań. Gym Retro daje możliwość rozszerzenia wniosków na bazie gier o podobnych koncepcjach, ale różnym wyglądzie.
Debate Game
W 2018 OpenAI uruchomiło Debate Game, która uczy maszyny debatować nad zabawkowymi problemami przed ludzkim sędzią. Celem jest zbadanie, czy takie podejście może pomóc w audycie decyzji podejmowanych przez sztuczną inteligencję i w opracowaniu wytłumaczalnej sztucznej inteligencji[84][85].
Dactyl
Opracowany w 2018 Dactyl wykorzystuje uczenie maszynowe do trenowania Shadow Hand , ludzkiej ręki robota, do manipulowania obiektami fizycznymi[86]. Uczy się on całkowicie w symulacji przy użyciu tych samych algorytmów RL i kodu treningowego co OpenAI Five. OpenAI rozwiązało problem orientacji obiektowej poprzez wykorzystanie randomizacji domeny, podejścia symulacyjnego, które wystawia uczącego się na różnorodne doświadczenia, zamiast próbować dopasować się do rzeczywistości. Zestaw dla Dactyl, oprócz kamer śledzących ruch, posiada również kamery RGB, które pozwalają robotowi manipulować dowolnym obiektem, widząc go. W 2018 OpenAI pokazało, że system był w stanie manipulować sześcianem i ośmiokątnym pryzmatem[87][88].
W 2019 OpenAI zademonstrowało, że Dactyl może rozwiązać kostkę Rubika. Robot był w stanie rozwiązać łamigłówkę w 60% przypadków. Obiekty takie jak kostka Rubika wprowadzają złożoną fizykę, która jest trudniejsza do modelowania. OpenAI rozwiązał ten problem, poprawiając odporność Dactyla na perturbacje; zastosowali technikę zwaną Automatic Domain Randomization (ADR), podejście symulacyjne, w którym coraz trudniejsze środowiska są generowane bez końca. ADR różni się od ręcznej randomizacji domen tym, że nie wymaga od człowieka określania zakresów randomizacji[89][90].
API
W czerwcu 2020 OpenAI ogłosiło wielofunkcyjny interfejs API, który, jak podają autorzy „umożliwia dostęp do nowych modeli sztucznej inteligencji opracowanych przez OpenAI”, aby umożliwić programistom wywoływanie go w celu wykonania „dowolnego zadania sztucznej inteligencji w języku angielskim”[91][92].
Modele generatywne
- Osobny artykuł:
Pierwotny model GPT OpenAI („GPT-1”)
Badacze OpenAIː Radford, Narasimhan, Salimans, Sutskever w 2018 opublikowali artykuł, opisujący pierwszy model GPT, który pokazał w jaki sposób generatywny model języka jest w stanie zdobywać wiedzę o świecie i przetwarzać zależności dalekiego zasięgu poprzez wstępne uczenie na zróżnicowanym korpusie z długimi odcinkami ciągłego tekstu[93][94].
GPT-2
Generative Pre-trained Transformer 2 (GPT-2 ) to nienadzorowany model języka transformatorowego i następca oryginalnego modelu GPT OpenAI („GPT-1”). GPT-2 został po raz pierwszy ogłoszony w lutym 2019 r., przy czym początkowo publicznie udostępniono jedynie ograniczone wersje demonstracyjne.
Pełna wersja GPT-2 początkowo nie została wydana z obawy o potencjalne nadużycia, w tym aplikacje do pisania fałszywych wiadomości (fake news)[95]. Niektórzy eksperci wyrazili sceptycyzm, że GPT-2 stanowi znaczące zagrożenie. Allen Institute for Artificial Intelligence zareagował na GPT-2 narzędziem do wykrywania „neuronowych fałszywych wiadomości”[96]. Inni badacze, tacy jak Jeremy Howard, ostrzegali przed „technologią całkowitego wypełnienia Twittera, e-maili i sieci rozsądnie brzmiącą, odpowiednią do kontekstu prozą, która zagłuszyłaby wszystkie inne wypowiedzi i byłaby niemożliwa do odfiltrowania”[97]. W listopadzie 2019 OpenAI wydało pełną wersję modelu językowego GPT-2[98]. Kilka stron internetowych zawiera interaktywne demonstracje GPT-2 i innych modeli[99][100].
Autorzy GPT-2 twierdzą, że nienadzorowane modele językowe są uczącymi się modelami ogólnego przeznaczenia, co zostało zilustrowane osiągnięciem przez GPT-2 najlepszej wówczas dokładności i złożoności (perplexity ) w 7 z 8 zadań typu zero-shot (tj. model nie był dalej szkolony na żadnych przykładach wejścia-wyjścia specyficznych dla zadania).
GPT-3
Generative Pre-trained Transformer 3 (GPT-3 ), to kolejna generacja GPT, wydana w maju 2020 roku[101]. Model GPT zyskał wówczas na popularności dzięki zastosowaniu w usłudze ChatGPT[102].
GPT-3 jest modelem językowym trenowanym w sposób nienadzorowany. Firma OpenAI ogłosiła, że pełna wersja GPT-3 zawiera aż 175 miliardów parametrów, czyli dwa rzędy wielkości więcej niż pełna wersja GPT-2[102][103][104].
OpenAI zwróciło uwagę, że skalowanie modeli językowych może zbliżać się lub napotykać na podstawowe ograniczenia możliwości modeli językowych. Trenowanie GPT-3 wymagało kilka tysięcy petaflopów/s-dni obliczeń, w porównaniu do kilkudziesięciu petaflopów/s-dni dla pełnego modelu GPT-2[105][106].
Podobnie jak w przypadku poprzednika, pełny model GPT-3 nie został udostępniony w całości publicznie. W czerwcu 2020 OpenAI udostępniło dostęp za pośrednictwem wspomnianego wyżej interfejsu API. Dodatkowo 23 września 2020 roku Microsoft uzyskał komercyjną licencję na użycie model GPT-3 w swoich usługach[107][108]. Twórcy OpenAI zadeklarowali, że nie będzie to miało wpływy na dostępność GPT-3 dla już oferowanych usług[109].
GPT-4
14 marca 2023 OpenAI ogłosiło wydanie Generative Pre-trained Transformer 4 (GPT-4 ), zdolnego do przyjmowania danych wejściowych w postaci tekstu lub obrazu[110]. OpenAI ogłosiło, że zaktualizowana technologia zdała symulowany egzamin adwokacki w szkole prawniczej z wynikiem w grupie 10% najlepszych zdających; dla porównania, poprzednia wersja, GPT-3.5, uzyskała wynik w grupie 10% najniższych wyników. GPT-4 może również czytać, analizować lub generować do 25 000 słów tekstu i pisać kod we wszystkich głównych językach programowania[111].
Zobacz też
Przypisy
- ↑ a b Microsoft fires 10,000, invests $10bn in 375-person OpenAI [online], thestack.technology, 23 stycznia 2023 [dostęp 2023-02-27] (ang.).
- ↑ Introducing OpenAI [online], openai.com, 11 grudnia 2015 [dostęp 2023-02-27] (ang.).
- ↑ a b c d e Introducing OpenAI. [dostęp 2023-06-07]. (ang.).
- ↑ John MARKOFF Markoff (The New York Times): Silicon Valley investors to bankroll artificial-intelligence center. The Seattle Times, 2015-12-13. [dostęp 2023-06-07]. (ang.).
- ↑ Tech giants pledge $1bn for ‘altruistic AI’ venture, OpenAI. BBC News, 2015-12-12. [dostęp 2023-06-07].
- ↑ Karen Hao: The messy, secretive reality behind OpenAI’s bid to save the world. MIT Technology Review, 2020-02-17. [dostęp 2023-06-07]. (ang.).
- ↑ Matthew Kupfer: I Tried To Visit OpenAI’s Office. Hilarity Ensued. The San Francisco Standard, 2022-12-20. [dostęp 2023-06-08].
- ↑ a b Dave Gershgorn: Elon Musk’s Artificial Intelligence Group Opens A ‘Gym’ To Train A.I.. Popular Science, 2016-04-27. [dostęp 2023-06-08]. (ang.).
- ↑ OpenAI Gym Beta. 2016-04-27. [dostęp 2023-06-08]. (ang.).
- ↑ In OpenAI’s Universe, Computers Learn to Use Apps Like Humans Do. WIRED, 2016-12-05. [dostęp 2023-06-08]. (ang.).
- ↑ John Mannes: OpenAI’s Universe is the fun parent every artificial intelligence deserves. 2016-12-05. [dostęp 2023-06-08]. (ang.).
- ↑ OpenAI Universe. 2016-12-05. [dostęp 2023-06-08]. (ang.).
- ↑ Thomas Claburn: This article is more than 1 year old Elon Musk-backed OpenAI reveals Universe – a universal training ground for computers. The Register, 2016-12-05. [dostęp 2023-06-08]. (ang.).
- ↑ James Vincent: Elon Musk leaves board of AI safety group to avoid conflict of interest with Tesla. The Verge, 2018-02-21. [dostęp 2023-06-08]. (ang.).
- ↑ Reed Albergotti: The secret history of Elon Musk, Sam Altman, and OpenAI. SEMAFOR, 2023-03-24. [dostęp 2023-06-08]. (ang.).
- ↑ Devin Coldewey: OpenAI shifts from nonprofit to ‘capped-profit’ to attract capital. Join TechCrunch+, 2019-03-11. [dostęp 2023-06-08]. (ang.).
- ↑ a b Tom Simonite: To Compete With Google, OpenAI Seeks Investors---and Profits. WIRED, 2019-03-12. [dostęp 2023-06-08]. (ang.).
- ↑ a b Jeremy Kahn: AI Research Group Co-Founded by Elon Musk Starts For-Profit Arm. Bloomberg, 2019-03-11. [dostęp 2023-06-08]. (ang.).
- ↑ Cade Metz: A.I. Researchers Are Making More Than $1 Million, Even at a Nonprofit. The New York Times, 2018-04-19. [dostęp 2023-06-08]. (ang.).
- ↑ Microsoft invests in and partners with OpenAI to support us building beneficial AGI. 2019-07-22. [dostęp 2023-06-08]. (ang.).
- ↑ Jennifer Langston: Microsoft announces new supercomputer, lays out vision for future AI work. Microsoft, 2020-05-19. [dostęp 2023-06-08]. (ang.).
- ↑ Mary Jo Foley: Microsoft builds a supercomputer for OpenAI for training massive AI models. ZDNET, 2020-05-19. [dostęp 2023-06-08]. (ang.).
- ↑ Devindra Hardawar: Microsoft’s OpenAI supercomputer has 285,000 CPU cores, 10,000 GPUs. Engadget, 2020-05-19. [dostęp 2023-06-08]. (ang.).
- ↑ a b Microsoft invests in and partners with OpenAI to support us building beneficial AGI. 2019-07-22. [dostęp 2023-06-08]. (ang.).
- ↑ Jonathan Vanian: OpenAI Will Need More Capital Than Any Non-Profit Has Ever Raised. Fortune, 2019-10-03. [dostęp 2023-06-08]. (ang.).
- ↑ Microsoft announces new supercomputer, lays out vision for future AI work [online], news.microsoft.com, 19 maja 2020 [dostęp 2023-02-27] (ang.).
- ↑ Microsoft builds a supercomputer for OpenAI for training massive AI models [online], zdnet.com, 19 maja 2020 [dostęp 2023-02-27] (ang.).
- ↑ Mary Jo Foley: Microsoft builds a supercomputer for OpenAI for training massive AI models. 2020-05-19. [dostęp 2023-06-07]. (ang.).
- ↑ Ashlee Vance: Trillions of Words Analyzed, OpenAI Sets Loose AI Language Colossus. Bloomberg, 2020-06-11. [dostęp 2023-06-08]. (ang.).
- ↑ José Antonio Ribeiro Neto Zezinho , ChatGTP i halucynacje generatywnej sztucznej inteligencji [online], 2 maja 2023 [dostęp 2023-07-08] (pol.).
- ↑ Hussam Alkaissi , Samy I McFarlane , Artificial Hallucinations in ChatGPT: Implications in Scientific Writing, „Cureus”, 2023, DOI: 10.7759/cureus.35179, PMID: 36811129, PMCID: PMC9939079 [dostęp 2023-07-08] (ang.).
- ↑ Khari Johnson: OpenAI debuts DALL-E for generating images from text. VentureBeat, 2021-01-05. [dostęp 2023-06-08]. (ang.).
- ↑ Eric Griffith , How to Use the Dall-E AI Art Generator to Create Stunning Images From Text [online], PCMAG, 4 listopada 2022 [dostęp 2023-07-08] (ang.).
- ↑ DALL·E: Introducing outpainting [online], openai.com, 31 sierpnia 2022 [dostęp 2023-07-08] (ang.).
- ↑ Strona internetowa ChatGPT. [dostęp 2023-06-09]. (ang.).
- ↑ Kevin Roose: The Brilliance and Weirdness of ChatGPT. New York Times, 2022-12-05. [dostęp 2023-06-09]. (ang.).
- ↑ Nikola Bochyńska: Sztuczna inteligencja w mainstreamie. ChatGPT bije rekordy popularności, podobnie jak Lensa AI. CyberDefence24, 2022-12-09. [dostęp 2023-06-09]. (pol.).
- ↑ Dina Bass: Microsoft Invests $10 Billion in ChatGPT Maker OpenAI. Bloomberg, 2023-01-23. [dostęp 2023-06-08]. (ang.).
- ↑ Zoe Kleinman: Bard: Google launches ChatGPT rival. BBC News, 2023-02-06. [dostęp 2023-06-09]. (ang.).
- ↑ James Vincent: Google’s AI chatbot Bard makes factual error in first demo. The Verge, 2023-02-08. [dostęp 2023-06-09]. (ang.).
- ↑ Tom Dotan: Microsoft Adds ChatGPT AI Technology to Bing Search Engine. The Wall Street Journal, 2023-02-10. [dostęp 2023-06-08]. (ang.).
- ↑ Strona internetowa Greylock Partners, Reid Hoffman. [dostęp 2023-06-09]. (ang.).
- ↑ Jeffrey Dastin: OpenAI’s long-time backer Reid Hoffman leaves board. Reuters, 2023-03-03. [dostęp 2023-06-08]. (ang.).
- ↑ GPT-4 is OpenAI’s most advanced system, producing safer and more useful responses. [dostęp 2023-06-08]. (ang.).
- ↑ a b Governance of superintelligence. 2023-05-22. [dostęp 2023-06-08]. (ang.).
- ↑ Ben Wodecki, Deborah Yao: OpenAI Founders Warn AI ‘Superintelligence’ is Like Nuclear Power. AI Business, 2023-05-23. [dostęp 2023-06-08]. (ang.).
- ↑ Patrick Smith , Jason Abbruzzese , OpenAI employees threaten to quit en masse after former CEO Sam Altman joins Microsoft [online], NBC, 20 listopada 2023 [dostęp 2023-11-21] (ang.).
- ↑ Keach Hagey , Berber Jin , Deepa Seetharaman , OpenAI Investors Try to Get Sam Altman Back as CEO After Sudden Firing [online], The Wall Street Journal, 19 listopada 2023 [dostęp 2023-12-09] (ang.).
- ↑ Cade Metz , Mike Isaac , Erin Griffith , OpenAI Investors Try to Get Sam Altman Back as CEO After Sudden Firing [online], The New York Times, 18 listopada 2023 [dostęp 2023-12-09] (ang.).
- ↑ Nilay Patel , Alex Heath , Sam Altman isn’t coming back to OpenAI [online], The Verge, 20 listopada 2023 [dostęp 2023-12-09] (ang.).
- ↑ Tom Warren , Microsoft hires former OpenAI CEO Sam Altman [online], The Verge, 20 listopada 2023 [dostęp 2023-12-09] (ang.).
- ↑ Nilay Patel , Alex Heath , Sam Altman to return as CEO of OpenAI [online], The Verge, 22 listopada 2023 [dostęp 2023-12-09] (ang.).
- ↑ Anna Tong , Jeffrey Dastin , Krystal Hu , OpenAI researchers warned board of AI breakthrough ahead of CEO ouster, sources say [online], Reuters, 23 listopada 2023 [dostęp 2023-12-09] (ang.).
- ↑ Dina Bass (Bloomberg): Dina Bass Bloomberg. Los Angeles Times, 2019-07-22. [dostęp 2023-06-07]. (ang.).
- ↑ a b c Pritam Bordoloi: OpenAI gets a new president, CTO & COO in the latest rejig. 2022=05-09. [dostęp 2023-06-07]. (ang.).
- ↑ a b John Markoff: Silicon Valley investors to bankroll artificial-intelligence center. The Seattle Times, 2015-12-13. [dostęp 2023-06-08]. (ang.).
- ↑ a b Michael Liedtke: Elon Musk, Peter Thiel, Reid Hoffman, others back $1 billion OpenAI research center. Mercury News, 2016-12-22. [dostęp 2023-06-10]. (ang.).
- ↑ Elon Musk, Infosys, others back OpenAI with $1 bn. Business Standard, 2015-12-12. [dostęp 2023-06-10]. (ang.).
- ↑ Kyle Wiggers: OpenAI disbands its robotics research team. 2021-07-16. [dostęp 2023-06-17]. (ang.).
- ↑ Dave Lee: Robot hand solves Rubik’s cube, but not the grand challenge. BBC News, 2019-10-15. [dostęp 2023-06-17]. (ang.).
- ↑ Greg Brockman, John Schulman: OpenAI Gym Beta. 2016-04-27. [dostęp 2023-06-17]. (ang.).
- ↑ OPenAI Gym. 2019-01-28. [dostęp 2023-06-17]. (ang.).
- ↑ Greg Brockman: Yep, the Github repo has been the focus of the project for the past year. The Gym site looks cool but hasn't been maintained.. 2017-09-12. [dostęp 2023-06-17]. (ang.).
- ↑ Yom Simonite: AI Sumo Wrestlers Could Make Future Robots More Nimble. WIRED, 2017-10-11. [dostęp 2023-06-17]. (ang.).
- ↑ Will Knight: OpenAI’s Goofy Sumo-Wrestling Bots Are Smarter Than They Look. MIT Technology Review, 2017-10-12. [dostęp 2023-06-17]. (ang.).
- ↑ Vlad Savov: My favorite game has been invaded by killer AI bots and Elon Musk hype. The Verge, 2017-08-14. [dostęp 2023-06-17]. (ang.).
- ↑ Blair Hanley Frank: OpenAI’s bot beats top Dota 2 player so badly that he quits. 2017-08-11. [dostęp 2023-06-17]. (ang.).
- ↑ Dota 2. 2017-08-11. [dostęp 2023-06-18]. (ang.).
- ↑ More on Dota 2. 2017-08-16. [dostęp 2023-06-17]. (ang.).
- ↑ a b Vlad Savov: The OpenAI Dota 2 bots just defeated a team of former pros. The Verge, 2018-08-06. [dostęp 2023-06-18]. (ang.).
- ↑ Dota 2 Team. OPenAI, 2017-08-11. [dostęp 2023-06-25]. (ang.).
- ↑ a b Tom Simonite: Can Bots Outwit Humans in One of the Biggest Esports Games?. Wired, 2018-06-25. [dostęp 2023-06-17]. (ang.).
- ↑ Jeremy Kahn: A Bot Backed by Elon Musk Has Made an AI Breakthrough in Video Game World. Bloomberg, 2018-06-25. [dostęp 2023-06-17]. (ang.).
- ↑ Catherine Clifford: Bill Gates says gamer bots from Elon Musk-backed nonprofit are 'huge milestone' in A.I.. CNBC, 2018-06-28. [dostęp 2023-06-17]. (ang.).
- ↑ James Vincent: AI bots trained for 180 years a day to beat humans at Dota 2. The Verge, 2018-06-25. [dostęp 2023-06-18]. (ang.).
- ↑ Tom Simonite: Pro Gamers Fend off Elon Musk-Backed AI Bots—for Now. Wired, 2018-08-23. [dostęp 2023-06-18]. (ang.).
- ↑ Katyanna Quach: Game over, machines: Humans defeat OpenAI bots once again at video games Olympics. The Register, 2018-08-24. [dostęp 2023-06-18]. (ang.).
- ↑ The International 2018: Results. 2018-08-23. [dostęp 2023-06-18]. (ang.).
- ↑ Nick Statt: OpenAI’s Dota 2 AI steamrolls world champion e-sports team with back-to-back victories. The Verge, 2019-04-13. [dostęp 2023-06-18]. (ang.).
- ↑ OpenAI Five defeats Dota 2 world champions. 2019-04-15. [dostęp 2023-06-18]. (ang.).
- ↑ Kyle Wiggers: OpenAI’s Dota 2 bot defeated 99.4% of players in public matches. VentureBeat, 2019-04-22. [dostęp 2023-06-18]. (ang.).
- ↑ Reinforcement learning, czyli komputery samodzielnie uczą się i rozwiązują problemy. Computerworld, 2020. [dostęp 2023-06-18]. (pol.).
- ↑ Gym Retro. 2018-05-25. [dostęp 2023-06-18].
- ↑ Tristan Greene: OpenAI’s Debate Game teaches you and your friends how to lie like robots May 4, 2018. 2018-05-04. [dostęp 2023-06-18]. (ang.).
- ↑ Steven Melendez: Why Scientists Think AI Systems Should Debate Each Other. Fast Company, 2018-08-05. [dostęp 2023-06-18]. (ang.).
- ↑ James Vincent: OpenAI sets new benchmark for robot dexterity. The Verge, 2018-07-30. [dostęp 2023-06-18]. (ang.).
- ↑ OpenAI, Marcin Andrychowicz, Bowen Baker, Maciek Chociej, Rafal Jozefowicz, Bob McGrew, Jakub Pachocki, Arthur Petron, Matthias Plappert, Glenn Powell, Alex Ray, Jonas Schneider, Szymon Sidor, Josh Tobin, Peter Welinder, Lilian Weng, Wojciech Zaremba: Learning Dexterous In-Hand Manipulation. 2018-01-18. [dostęp 2023-06-18]. (ang.).
- ↑ Learning Dexterity. OpenAI/ YouTube, 2018-07-30. [dostęp 2023-06-18]. (ang.).
- ↑ OpenAI, Ilge Akkaya, Marcin Andrychowicz, Maciek Chociej, Mateusz Litwin, Bob McGrew, Arthur Petron, Alex Paino, Matthias Plappert, Glenn Powell, Raphael Ribas, Jonas Schneider, Nikolas Tezak, Jerry Tworek, Peter Welinder, Lilian Weng, Qiming Yuan, Wojciech Zaremba, Lei Zhang: Solving Rubik's Cube with a Robot Hand. 2018-10-16. [dostęp 2023-06-18]. (ang.).
- ↑ Solving Rubik’s Cube with a robot hand. OpenAI, 2019-10-15. [dostęp 2023-06-18]. (ang.).
- ↑ Greg Brockman, Mira Murati, Peter Welinder, OpenAI: OpenAI API. 2020-06-11. [dostęp 2023-06-18]. (ang.).
- ↑ Devin Coldewey: OpenAI makes an all-purpose API for its text-based AI capabilities. TechCrunch+. [dostęp 2023-06-18]. (ang.).
- ↑ A. Radford, K. Narasimhan, T. Salimans, I. Sutskever: Improving Language Understanding by Generative Pre-Training. OpenAI, 2018-06-11. [dostęp 2023-06-18]. (ang.).
- ↑ Fawad Ali: GPT-1 to GPT-4: Each of OpenAI's GPT Models Explained and Compared. 2023-04-11. [dostęp 2023-06-18]. (ang.).
- ↑ Alex Hern: New AI fake text generator may be too dangerous to release, say creators. The Guardian, 2019-02-14. [dostęp 2023-06-18]. (ang.).
- ↑ Oscar Schwartz: Could ‘fake text’ be the next global political threat?. The Guardian, 2019-07-04. [dostęp 2023-06-18]. (ang.).
- ↑ James Vincent: OpenAI’s new multitalented AI writes, translates, and slanders. The Verge, 2019-02-14. [dostęp 2023-06-18]. (ang.).
- ↑ GPT-2: 1.5B release. 2019-11-05. [dostęp 2023-06-18]. (ang.).
- ↑ Write With Transformer. 2019. [dostęp 2023-06-18]. (ang.).
- ↑ Talk to Transformer. 2019. [dostęp 2023-06-18].
- ↑ openai/gpt-3. OpenAI, 2020-05-29. [dostęp 2020-05-29]. (ang.).
- ↑ a b Bernard Marr , A Short History Of ChatGPT: How We Got To Where We Are Today [online], Forbes [dostęp 2023-07-08] (ang.).
- ↑ Ram Sagar: OpenAI Releases GPT-3, The Largest Model So Far. Analytics India Magazine, 2020-06-03. [dostęp 2020-06-14]. [zarchiwizowane z tego adresu (2020-08-04)]. (ang.).
- ↑ Language Models are Unsupervised Multitask Learners [online], 2019 [dostęp 2019-12-04], Cytat: "GPT-2, is a 1.5B parameter Transformer" (ang.).
- ↑ OpenAI’s gigantic GPT-3 hints at the limits of language models for AI [online], ZDNET [dostęp 2023-07-08] (ang.).
- ↑ AI and Compute. 2018-05-16. [dostęp 2020-08-30]. [zarchiwizowane z tego adresu (2020-06-17)]. Cytat: "A petaflop/s-day (pfs-day) consists of performing 1015 neural net operations per second for one day, or a total of about 1020 operations. The compute-time product serves as a mental convenience, similar to kW-hr for energy." (ang.).
- ↑ OpenAI is giving Microsoft exclusive access to its GPT-3 language model. MIT Technology Review. [dostęp 2020-09-24]. (ang.).
- ↑ Microsoft gets exclusive license for OpenAI's GPT-3 language model. VentureBeat, 2020-09-22. [dostęp 2020-09-24]. (ang.).
- ↑ OpenAI licenses GPT-3 technology to Microsoft [online], openai.com, 22 sierpnia 2020 [dostęp 2023-07-08] (ang.).
- ↑ James Vincent: OpenAI announces GPT-4 — the next generation of its AI language model. The Verge, 2023-03-14. [dostęp 2023-06-18]. (ang.).
- ↑ Kyle Wiggers: OpenAI releases GPT-4, a multimodal AI that it claims is state-of-the-art. Join TechCrunch+, 2023-03-15. [dostęp 2023-06-18]. (ang.).
Linki zewnętrzne
- Oficjalna strona (ang.)
- ImageNet, strona [online] (ang.).