Algorytm Google PaLM: ścieżka do modeli językowych nowej generacji
Nowy algorytm Google to krok w kierunku realizacji architektury Pathways AI Google, zapewnia wgląd w nową generację modeli językowych. Google ogłosił przełom w wysiłkach na rzecz stworzenia architektury AI, która może obsługiwać miliony różnych zadań, w tym złożone uczenie się i rozumowanie. Nowy system nosi nazwę Pathways Language Model, określany jako PaLM.
PaLM jest w stanie przewyższyć obecny stan wiedzy na temat sztucznej inteligencji, a także pokonać ludzi w testach językowych i rozumowania. Ale naukowcy zwracają również uwagę, że nie mogą pozbyć się ograniczeń nieodłącznie związanych z modelami języków na dużą skalę, które mogą w niezamierzony sposób skutkować negatywnymi etycznymi skutkami.
Informacje ogólne
Kilka następnych sekcji to podstawowe informacje, które wyjaśniają, o co chodzi w tym algorytmie.
Nauka kilku strzałów
Uczenie się kilku strzałów to kolejny etap uczenia się, który wykracza poza uczenie głębokie. Badacz Google Brain, Hugo Larochelle ( @hugo_larochelle ) powiedział w prezentacji zatytułowanej „ Uogólnianie z kilku przykładów z Meta-Learning” wyjaśnił, że w przypadku uczenia głębokiego problem polega na tym, że musieli zebrać ogromną ilość danych, które wymagały znacznej ilości ludzkiej pracy.
Wskazał, że głębokie uczenie prawdopodobnie nie będzie ścieżką w kierunku sztucznej inteligencji, która może rozwiązać wiele zadań, ponieważ w przypadku głębokiego uczenia każde zadanie wymaga milionów przykładów, z których można się uczyć dla każdej umiejętności, której uczy się sztuczna inteligencja.
Larochelle wyjaśnia:
„…pomysł polega na tym, że spróbujemy zaatakować ten problem bardzo bezpośrednio, problem uczenia się kilku strzałów, który jest problemem uogólniania na podstawie niewielkich ilości danych.
…główną ideą w tym, co przedstawię, jest to, że zamiast próbować zdefiniować, czym jest ten algorytm uczenia się przez N i wykorzystać naszą intuicję, jaki jest właściwy algorytm do uczenia się kilku strzałów, ale w rzeczywistości spróbuj nauczyć się tego algorytmu w sposób od końca do końca.
I właśnie dlatego nazywamy to nauką uczenia się, a ja lubię to nazywać metauczeniem”.
Celem podejścia opartego na kilku strzałach jest przybliżenie, w jaki sposób ludzie uczą się różnych rzeczy i mogą wspólnie stosować różne fragmenty wiedzy, aby rozwiązywać nowe problemy, które nigdy wcześniej nie zostały napotkane. Zaletą jest wtedy maszyna, która może wykorzystać całą posiadaną wiedzę do rozwiązywania nowych problemów. W przypadku PaLM przykładem tej zdolności jest jej zdolność do wyjaśnienia dowcipu, z którym nigdy wcześniej się nie spotkało.
Ścieżki AI
W październiku 2021 r. Google opublikował artykuł przedstawiający cele nowej architektury AI o nazwie Pathways. Pathways stanowiły nowy rozdział w trwającym postępie w opracowywaniu systemów sztucznej inteligencji. Zwykłe podejście polegało na tworzeniu algorytmów, które zostały wytrenowane do bardzo dobrego wykonywania określonych rzeczy.
Podejście Pathways polega na stworzeniu jednego modelu AI, który może rozwiązać wszystkie problemy, ucząc się, jak je rozwiązywać, unikając w ten sposób mniej wydajnego sposobu uczenia tysięcy algorytmów w celu wykonania tysięcy różnych zadań. Zgodnie z dokumentem Pathways:
„Zamiast tego chcielibyśmy wyszkolić jeden model, który może nie tylko obsługiwać wiele oddzielnych zadań, ale także wykorzystywać i łączyć istniejące umiejętności, aby szybciej i skuteczniej uczyć się nowych zadań.
W ten sposób to, czego model uczy się, szkoląc się w jednym zadaniu – powiedzmy, ucząc się, jak zdjęcia lotnicze mogą przewidywać wysokość terenu – może pomóc mu nauczyć się innego zadania – powiedzmy, przewidywania, jak wody powodziowe będą przepływać przez ten teren”.
Pathways określiły drogę Google do przeniesienia sztucznej inteligencji na wyższy poziom, aby wypełnić lukę między uczeniem maszynowym a uczeniem się człowieka.
Najnowszy model Google, zwany Pathways Language Model (PaLM), jest kolejnym krokiem i zgodnie z tym nowym artykułem badawczym, PaLM reprezentuje znaczący postęp w dziedzinie sztucznej inteligencji.
Co sprawia, że Google PaLM jest godny uwagi
PaLM skaluje kilkukrotny proces uczenia się. Według artykułu badawczego:
„Wykazano, że duże modele językowe osiągają niezwykłą wydajność w różnych zadaniach języka naturalnego przy użyciu uczenia się kilku strzałów, co drastycznie zmniejsza liczbę przykładów szkoleniowych dotyczących konkretnych zadań potrzebnych do dostosowania modelu do konkretnej aplikacji.
Aby lepiej zrozumieć wpływ skali na uczenie się kilkoma strzałami, wyszkoliliśmy 540 miliardów parametrów, gęsto aktywowany model języka Transformer, który nazywamy Pathways Language Model (PaLM).”
Opublikowano wiele prac badawczych, które opisują algorytmy, które nie działają lepiej niż obecny stan wiedzy lub osiągają jedynie stopniową poprawę.
Tak nie jest w przypadku PaLM. Naukowcy twierdzą, że istnieją znaczne ulepszenia w porównaniu z najlepszymi obecnie modelami, a nawet przewyższają ludzkie wzorce. Ten poziom sukcesu sprawia, że ten nowy algorytm jest godny uwagi.
Naukowcy piszą:
„Wykazujemy ciągłe korzyści płynące ze skalowania, osiągając najnowocześniejsze wyniki uczenia się kilkoma strzałami na setkach testów rozumienia języka i testów generacyjnych.
W wielu z tych zadań PaLM 540B osiąga przełomową wydajność, przewyższając dostrojony stan techniki w zestawie wieloetapowych zadań rozumowania i przewyższając średnią ludzką wydajność w niedawno wydanym benchmarku BIG-bench.
Znaczna liczba zadań BIG-bench wykazała nieciągłą poprawę w stosunku do skali modelu, co oznacza, że wydajność gwałtownie wzrosła wraz ze skalowaniem do naszego największego modelu”.
PaLM przewyższa najnowocześniejsze zadania przetwarzania języka angielskiego, co sprawia, że PaLM jest ważny i godny uwagi. Na wspólnym benchmarku zwanym BIG-bench, składającym się z ponad 150 zadań (związanych z wnioskowaniem, tłumaczeniem, odpowiadaniem na pytania), PaLM osiągnął lepsze wyniki niż dotychczas, ale były obszary, w których nie wypadł tak dobrze. Warte odnotowania jest to, że wydajność człowieka przewyższała PaLM w 35% zadań, szczególnie zadań związanych z matematyką (patrz rozdział 6.2 BIG-bench artykułu badawczego, strona 17).
PaLM był lepszy w tłumaczeniu innego języka na angielski niż w tłumaczeniu angielskiego na inne języki. Naukowcy stwierdzili, że jest to powszechny problem, który można rozwiązać poprzez nadanie priorytetu większej liczbie wielojęzycznych danych. Niemniej jednak PaLM znacznie przewyższył inne modele językowe i ludzi na całym świecie.
Umiejętność rozumowania
Na szczególną uwagę zasługuje wykonanie zadań arytmetycznych i rozumowania zdroworozsądkowego. Przykład zadania arytmetycznego:
Pytanie:
Roger ma 5 piłek tenisowych. Kupuje jeszcze 2 puszki piłek tenisowych. Każda puszka ma 3 piłki tenisowe. Ile piłek tenisowych ma teraz?
Odpowiedź:
Odpowiedź brzmi 11.
Przykład zdroworozsądkowego rozumowania:
Pytanie:
Sean spieszył się do domu, ale światło zmieniło się na żółte i był zmuszony zrobić co?
Odpowiedzi do wyboru: (a) nie spiesz się (b) marudź (c) idź powoli (d) ocean (e) zwolnij
Odpowiedź:
Odpowiedź brzmi: (e) zwolnij.
Generowanie wyjaśnień
Kolejny niezwykły przykład tego, jak zaawansowany jest PaLM w testach generowania wyjaśnień.
Oto jak wyjaśnia to artykuł badawczy:
„Celem tej sekcji jest pokazanie możliwości PaLM w odniesieniu do generowania języka wyjaśniającego, dla podpowiedzi, które wymagają złożonej kombinacji logicznego łączenia wnioskowania, wiedzy o świecie, abstrakcyjnego rozumienia języka i leksykograficznego rozumienia języka (np. kalambury).”
Wyjaśnienia dowcipów
Oto przykład modelu językowego wyjaśniającego dowcip:
Żart: 6 kwietnia miałem polecieć odwiedzić rodzinę. Moja mama powiedziała: „Świetnie, dziś wieczorem jest czytanie poezji twojego ojczyma!” Więc teraz przylatuję 7 kwietnia.
Objaśnienie modelu: Żart polega na tym, że matka mówcy próbuje nakłonić je, aby poszły na czytanie poezji u ojczyma, ale mówca nie chce iść, więc zmieniają lot na dzień po czytaniu poezji.
Łączenie wnioskowania
Oto przykład łańcucha wnioskowania, w którym wiele pojęć i encji musi być poprawnie połączonych i rozważonych, aby utworzyć odpowiedź.
Wejście: Guido pisał program w Pythonie. Ciągle jest zdezorientowany przez zakres zmiennych i szukanie go na StackOverflow.
Czy to możliwe, że Guido w podpowiedzi odnosi się do Guido van Rossuma?
Wyniki modelu: Guido van Rossum jest twórcą Pythona. Nie musiałby szukać zakresu zmiennych na StackOverflow. Odpowiedź brzmi nie”.”
Oto jeszcze jeden przykład:
Wejście: Jennifer wyjrzała przez okno i zobaczyła pod sobą naprawdę fajną chmurę. Odpina pasy i idzie do łazienki. Czy Jennifer prawdopodobnie podróżuje więcej niż 300 mil na godzinę względem Ziemi?
Wydajność modelu: 300 mil na godzinę to około 480 km/h. Chodzi o prędkość samolotu komercyjnego. Chmury są zwykle pod samolotami, więc Jennifer jest prawdopodobnie w samolocie.
Odpowiedź brzmi tak”.”
Wyszukiwarka nowej generacji?
Powyższy przykład zdolności PaLM do złożonego rozumowania pokazuje, w jaki sposób wyszukiwarka nowej generacji może być w stanie odpowiedzieć na złożone odpowiedzi, wykorzystując wiedzę z Internetu i innych źródeł. Osiągnięcie architektury AI, która może generować odpowiedzi, które odzwierciedlają otaczający nas świat, jest jednym z zadeklarowanych celów Google Pathways, a PaLM jest krokiem w tym kierunku. Autorzy badania podkreślają jednak, że PaLM nie jest ostatnim słowem na temat AI i wyszukiwania. Wyraźnie stwierdzili, że PaLM jest pierwszym krokiem w kierunku następnego rodzaju wyszukiwarki, którą przewiduje Pathways.
Zanim przejdziemy dalej, są dwa słowa, by tak rzec, żargon, które są ważne do zrozumienia, aby zrozumieć, o co chodzi w PaLM.
- Modalności
- Uogólnienie
Słowo „ modalności ” odnosi się do tego, jak rzeczy są doświadczane lub do stanu, w jakim one istnieją, jak czytany tekst, obrazy, które są widziane, rzeczy, których się słucha.
Słowo „ uogólnienie ” w kontekście uczenia maszynowego dotyczy zdolności modelu językowego do rozwiązywania zadań, w zakresie których nie był wcześniej szkolony. Naukowcy zauważyli:
„PaLM to dopiero pierwszy krok w naszej wizji ustanowienia Pathways jako przyszłości skalowania ML w Google i nie tylko.
Wierzymy, że PaLM wykazuje mocne podstawy w naszym ostatecznym celu, jakim jest opracowanie wielkoskalowego, modularnego systemu, który będzie miał szerokie możliwości generalizacji w wielu modalnościach”.
Zagrożenia w świecie rzeczywistym i względy etyczne
Coś innego w tym artykule badawczym polega na tym, że naukowcy ostrzegają przed względami etycznymi.
Stwierdzają, że modele językowe na dużą skalę wytrenowane na danych internetowych absorbują wiele „toksycznych” stereotypów i nierówności społecznych, które rozprzestrzeniają się w sieci, i twierdzą, że PaLM nie jest odporny na te niepożądane wpływy.
Artykuł badawczy cytuje artykuł badawczy z 2021 roku , który bada, w jaki sposób modele językowe na dużą skalę mogą promować następujące szkody:
- Dyskryminacja, wykluczenie i toksyczność
- Zagrożenia informacyjne
- Dezinformacja szkodzi
- Złośliwe zastosowania
- Szkodliwe interakcje człowiek-komputer
- Automatyzacja, dostęp i szkody środowiskowe
Na koniec naukowcy zauważyli, że PaLM rzeczywiście odzwierciedla toksyczne stereotypy społeczne i jasno pokazuje, że odfiltrowanie tych uprzedzeń jest wyzwaniem.
Naukowcy z PaLM wyjaśniają:
„Nasza analiza pokazuje, że nasze dane treningowe, a co za tym idzie PaLM, odzwierciedlają różne społeczne stereotypy i skojarzenia toksyczne wokół terminów tożsamości.
Usunięcie tych skojarzeń nie jest jednak trywialne… Przyszłe prace powinny przyjrzeć się skutecznemu zwalczaniu takich niepożądanych błędów w danych i ich wpływowi na zachowanie modelu.
Tymczasem każde rzeczywiste użycie PaLM do dalszych zadań powinno przeprowadzać dalsze kontekstowe oceny sprawiedliwości w celu oceny potencjalnych szkód i wprowadzenia odpowiednich środków łagodzących i ochronnych.
PaLM może być postrzegany jako wgląd w to, jak będzie wyglądać następna generacja wyszukiwania. PaLM wysuwa niezwykłe twierdzenia, że pokonuje stan wiedzy, ale naukowcy twierdzą również, że jest jeszcze więcej do zrobienia, w tym znalezienie sposobu na złagodzenie szkodliwego rozprzestrzeniania się dezinformacji, toksycznych stereotypów i innych niepożądanych rezultatów.