Algoritmus myšlenek (AoT) společnosti Microsoft dává umělé inteligenci způsob myšlení podobný lidskému
9 min readObsah Článku
Algorithm-of-Thoughts (AoT) , v pekladu Algoritmus myšlenek, společnosti Microsoft posouvá umělou inteligenci o krok vpřed. Systém má umožnit lidské myšlení a řešení problémů a zároveň je energeticky účinný. AoT používá příklady algoritmů ke zefektivnění složitých úkolů a snižuje potřebu četných dotazů. AoT vyniká svou efektivitou při zpracování složitých procesů, což z něj činí potenciální průlom pro aplikace AI.
V neustále se vyvíjející oblasti umělé inteligence (AI) se jazykové modely posunuly od porozumění jazyku k všestranným řešením problémů, především díky konceptu kontextového učení. „Algoritmus myšlenek“ společnosti Microsoft tento vývoj dále posouvá a umožňuje lidské myšlení, plánování a řešení matematických problémů energeticky účinným způsobem.
Použitím příkladů algoritmů AoT odemyká potenciál jazykových modelů k prozkoumání různých nápadů pomocí několika málo dotazů.
Následující text zkoumá vývoj přístupů kontextového učení založeného na rychlém přístupu a ukazuje, jak AoT transformuje umělou inteligenci pro uvažování podobné lidem.
Kontextové učení
Kontextov0 učení je transformační proces, jehož cílem je přeměnit jazykové modely z pouhých jazykových expertů na nástroje schopné řešit problémy.
Abyste tomuto konceptu lépe porozuměli, představte si tyto modely jako studenty jazyků ve škole. Zpočátku se jejich lekce skládají především z ponoření se do velkého množství textu, aby získaly znalosti o slovech a faktech.
Kontextové učení však tyto studenty posouvá na další úroveň tím, že jim umožňuje získat specializované dovednosti. Řekněme, že tyto studenty pošlete do specializovaných školících programů. V této fázi se zaměřují na rozvoj speciálních dovedností a zvládnutí různých úkolů jako je jazykový překlad, generování kódu nebo řešení složitých problémů.
V minulosti se jazykové modely specializovaly pouze tehdy, když byly přeškoleny s novými daty, což je proces známý jako jemné ladění. To se ukázalo jako obtížné, protože modely byly stále větší a náročnější na zdroje.
K řešení těchto problémů byly vyvinuty různé metody. Namísto přeškolování celého modelu jsou mu poskytovány jasné instrukce, např. odpovídání na otázky nebo psaní kódu. Tento přístup se vyznačuje mimořádnou kontrolou, transparentností a efektivitou nad daty a výpočetními zdroji, což z něj činí extrémně praktickou volbu pro širokou škálu aplikací.
Rozvoj učení založeného na promptech
Tato část poskytuje stručný přehled vývoje učení založeného na promptech od standardního řetězce myšlení (CoT) ke stromu myšlení (ToT).
Standard prompting
V roce 2021 provedli vědci průlomový experiment. Získali jediný generativně předtrénovaný model T0, aby vynikl ve 12 různých NLP úlohách.
Tyto úkoly zahrnovaly strukturované instrukce, jako: „Pokud je {předpoklad} pravdivý, je také pravda, že {hypotéza} je pravdivá? ||| {obsah}.“
Výsledky byly ohromující, protože T0 překonal modely trénované pouze na jednotlivé úkoly a byl ještě lepší v nových úkolech. Tento experiment zavedl přístup založený na promptech, také známý jako input-output nebo standardní prompting.
Standard prompting je jednoduchý způsob prezentace modelu pomocí několika příkladů souvisejících s úlohou. Můžete jej například požádat, aby vyřešil rovnice jako „2x + 3 = 11“ (řešení: „x = 4“). Tato metoda je vhodná pro jednoduché úlohy, jako je řešení jednoduchých matematických rovnic nebo překladů.
Protože se však standard prompting opírá o izolované pokyny, potýká se s pochopením širších souvislostí a víceúrovňového myšlení. Díky tomu je neefektivní pro řešení složitých matematických problémů, logického myšlení a plánovacích úkolů.
Omezení standard promptingu vedla k vývoji systému CoT, který tyto nevýhody kompenzuje.
Chain-of-Thought (CoT) Prompting
CoT je prompter technika, která pomáhá velkým jazykovým modelům (LLM) řešit problémy. K tomu jsou rozděleny do řady mezikroků, které vedou ke konečné odpovědi. Tento přístup zlepšuje uvažovací schopnosti modelu tím, že ho povzbuzuje k tomu, aby reagoval na složité, vícestupňové problémy způsobem, který se podobá logickému řetězci myšlení.
CoT prompting se ukazuje jako zvláště cenný při pomoci LLM při plnění úkolů, které vyžadují logické myšlení a více kroků, jako jsou aritmetické problémy a otázky související se zdravým rozumem. Příklad: Výzvu CoT lze použít k řešení složitého fyzikálního problému, např. k výpočtu vzdálenosti, kterou auto urazí při zrychlení.
CoT provádějí jazykový model logickými kroky, počínaje počáteční rychlostí vozu, použitím vzorce vzdálenosti a zjednodušením výpočtů. To ukazuje, jak výzvy CoT krok za krokem rozkládají komplikované problémy a pomáhají modelu vyvodit přesné závěry.
Tree-of-Thought Prompting (ToT).
V určitých scénářích však může řešení problémů zahrnovat více přístupů. Konvenční metody krok za krokem, jako je CoT, mohou omezit zkoumání různých řešení.
Tree-of-Thought Prompting eší tento problém tím, že používá výzvy strukturované jako rozhodovací stromy, což umožňuje jazykovým modelům zvážit více cest. Tato metoda umožňuje modelům dívat se na problémy z různých úhlů pohledu, rozšiřuje škálu možností a podporuje kreativní řešení.
Výzvy učení založeného na promptech
Učení založené na promptech nepochybně zlepšilo matematické a logické schopnosti jazykových modelů. Zároveň mají také zásadní nevýhodu : exponenciálně roste potřeba dotazů a výpočetních zdrojů.
Každý požadavek na online jazykový model, jako je GPT-4, přispívá k latenci, což je kritické pro aplikace v reálném čase. Tato kumulativní zpoždění mohou podkopat efektivitu řešení.
Neustálé interakce mohou navíc zatěžovat systémy, což vede k omezení šířky pásma a snížené dostupnosti modelu. Je třeba zvážit i dopad na životní prostředí. Pravidelné dotazy zvyšují spotřebu energie již tak energeticky náročných datových center, což dále zhoršuje jejich uhlíkovou stopu.
Algoritmus myšlenek (AoT)
Společnost Microsoft přijala výzvu vylepšování rychlých metod z hlediska nákladů, energetické účinnosti a doby odezvy.
Představili Algorithm of Thoughts (AoT) , přelomový přístup, který snižuje potřebu mnoha výzev u složitých úkolů při zachování výkonu. AoT se liší od předchozích metod dotazování. Jazykové modely jsou instruovány, aby generovaly pseudokód specifický pro úlohu, podobně jako jasné instrukce v Pythonu.
AOT klade důraz na využití vnitřních myšlenkových procesů modelu spíše než na spoléhání se na potenciálně nespolehlivé vstupy a výstupy v každém kroku.
AoT také zahrnuje kontextové příklady založené na vyhledávacích algoritmech, jako je „Depth First Search” a „Breadth First Search“, které pomáhají modelu rozdělit komplikované problémy do zvládnutelných kroků a identifikovat slibná řešení.
Ačkoli AoT sdílí podobnosti s přístupem Tree-of-Thought (ToT), vyniká svou pozoruhodnou účinností.
ToT často vyžaduje velký počet dotazů na jazykový model, někdy až stovky pro jeden problém. Na rozdíl od toho AoT překonává tuto výzvu tím, že organizuje celý myšlenkový proces v jediném kontextu.
AoT je zvláště vhodný pro úlohy podobné prohledávání stromů. V těchto scénářích proces řešení problémů zahrnuje rozdělení hlavního problému na menší součásti, vývoj řešení pro každou část a rozhodnutí, do kterých možností se ponořit.
Místo používání samostatných dotazů pro každou podmnožinu problému využívá AoT iterační schopnosti modelu k jejich řešení v jednotném kroku. Tento přístup integruje poznatky z předchozích kontextů a demonstruje své schopnosti při řešení složitých problémů, které vyžadují hluboké ponoření do pole řešení.
Závěr
Algorithm-of-Thoughts (AoT) společnosti Microsoft transformuje AI tím, že umožňuje lidské myšlení, plánování a řešení matematických problémů energeticky účinným způsobem. AoT umožňuje jazykovým modelům prozkoumat různé nápady pomocí pouhých několika dotazů.
AoT staví na rozvoji učení založeného na promptu a vyznačuje se výkonem a efektivitou při řešení složitých úkolů. Nejen, že zlepšuje možnosti umělé inteligence, ale také zmírňuje problémy, které představují metody dotazování náročné na zdroje.
Díky AoT mohou jazykové modely vytvářet víceúrovňové závěry a řešit náročné problémy, což otevírá nové možnosti pro aplikace založené na umělé inteligenci.
Hunters On-Chain je nyní Free-to-Play s herní postavou zdarma
- Patch Illuvium Arena 0.4.0 přináší velké změny - 2 května, 2024
- Prodejní tlak na Bitcoin: Jak hluboko klesne cena BTC? - 2 května, 2024
- Nový Ruský zákon legalizuje průmyslovou těžbu kryptoměn, omezuje soukromou těžbu - 1 května, 2024
