Nová pokročilá funkce Editee - LLM Auto Routing

Dobrý den,

V dnešní velké aktualizaci jsme si připravili novou funkci, kterou jsem zmínil již v nadpise a tou je: “LLM Auto Routing”.

Co to znamená?

Co Vám přinese LLM Auto Routing a proč jsme jej vytvořili?

Původně jsem hledal nějaký příhodný název v češtině, ale nic lepšího, kratšího a výstižnějšího mne nenapadlo. 

LLM Auto Routing = Automatické routování / výběr jazykového AI Modelu (neboli LLM).

Sledujeme dlouhodobě to, co naši uživatelé s aplikací dělají, na co se ptají na zákaznické podpoře a stále dokola se řeší otázka: “Jaký model mám použít? Jaký model je dobrý na jaký úkol?”.

Dle naší statistiky, více než 80% zákazníků (v Editee generují tisíce uživatelů denně) nepřepíná a nikdy nepřepnulo AI model v šablonách, chatu anebo v AI dokumentech.

Což je dle nás škoda.

Každý jazykový model se totiž hodí na něco jiného.

Potom vznikají zbytečné dotazy, kdy uživatel do základního textového modelu vloží matematický úkol a diví se, že Editee jej nesplnilo úplně správně.

Přitom kdyby se použil jiný model, který umí třeba reasoning a exceluje v matematice, uživatel by byl s výsledkem maximálně spokojený.

A takových případů již byla spousta.

Z toho důvodu jsem již nějakou dobu pracoval na pokročilé funkci automatického routerování (přesměrování) jazykových modelů.

Jak to tedy přesně funguje?

Ve výchozím nastavení mají nyní uživatelé auto routing zapnutý. Samozřejmě si jej můžete v nastavení na kliknutí vypnout a používat model, jaký chcete, přesně tak, jak jste byli zvyklí doposud (v tomto případě se jedná většinou o pokročilejší uživatele).

Nyní tedy, když pošlete dotaz do chatu, začnete generovat v šablonách nebo text v dokumentech, náš pokročilý algoritmus nejprve vyhodnotí, jaký typ modelu by se pro Váš úkol přesně hodil a zapne Vám takový, kde si je jistý, že výsledek bude skvělý a budete s ním spokojení.

Algoritmus samozřejmě nefunguje jenom jako jednoduchý “určovatel” modelu.

Na pozadí běží více než tisíci řádkový kód, který se dívá na spoustu parametrů - jak používáte Editee, co konkrétně řešíte, jaká je povaha zadání a podobně, je toho daleko daleko více.

Jelikož se jedná o náš vlastní produkt, který jsem vymyslel, tak nebudu více prozrazovat, algoritmus nicméně funguje skvěle.

Historie použitých modelů

Spolu s LLM Auto Routingem jsme přidali do chatu a šablon výpis použitého modelu pro konkrétní AI odpověď.

Nyní tedy vidíte, jaká odpověď byla vygenerovaná jakým modelem, i historicky.

Pokud by Vám tato novinka překážela, nebo jste se na použitý model chtěli podívat jen občas, můžete si ji opět v Nastavení modelů na kliknutí vypnout.

Samozřejmě opět budeme moc rádi za jakékoliv připomínky, dotazy a nápady na vylepšení.

Děkujeme za ty předchozí a nápady či problémy, které se opakují, postupně implementujeme.

A děkujeme, že jste s námi a příští týden budou další novinky :).