Vietējā mākslīgā intelekta izmantošana kļūst arvien pieejamāka, un līdz ar to rodas jautājums: vai šī tehnoloģija ir pietiekami noderīga, lai tai iegādātos dārgu datoru ar lielu operatīvās atmiņas apjomu? Eksperimentā ar vietēji darbināmiem modeļiem svarīgākais ieguvums ir privātums — personiskie dati nav jāaugšupielādē mākoņpakalpojumos, ko pārvalda OpenAI, Google, Microsoft vai Anthropic.

Vietējā MI popularitāti pašlaik veicina arī jaunas ierīces. Apple savus jaunos Mac galddatorus pozicionē kā piemērotus vietējā MI darbināšanai, savukārt drīzumā gaidāmas Windows ierīces ar RTX Spark un līdz 128 GB RAM, kas paredzētas aģentiskā MI izmantošanai. Tomēr praktiskais jautājums paliek atklāts: vai ieguvumi attaisno ievērojamos izdevumus un sarežģītību?

Eksperimenta autors norāda, ka viņš nav MI eksperts un šo tehnoloģiju apgūst praksē. Viņš nevēlas vietējam asistentam uzticēt rakstīšanu, rediģēšanu vai reklāmas materiālu veidošanu, taču privātums ļauj izmēģināt citus, šaurākus uzdevumus. Tāpēc, testējot M5 Ultra Mac Studio un citas Mac un Windows sistēmas, datorā tika instalēti vairāki vietējie lielie valodas modeļi.

Pirmie soļi ar Hermes Agent

Pirmais izmantotais rīks bija atvērtā koda Hermes Agent — pašmitināta MI aģenta darbvirsmas lietotne, kas darbojas macOS, Windows un Linux vidē. Ja tiek izmantoti tikai vietējie valodas modeļi, lietotni var lietot bez maksas. M5 Ultra Mac Studio ar 256 GB vienotās atmiņas ļāva izmēģināt gandrīz jebkuru modeli, taču plašās izvēles iespējas ātri radīja apjukumu.

Pieejamo modeļu ir vairāk, nekā iespējams vienkārši pārskatīt, turklāt tie paredzēti atšķirīgiem uzdevumiem. Kopumā modeļi ar desmitiem vai simtiem miljardu parametru spēj paveikt sarežģītākus darbus nekā mazāki modeļi. Tā kā vietējā darbināšanā nav jāmaksā par katru tokenu, sākumā tika izvēlēts liels modelis — Qwen 3.8 Flash Next. Tam ir 125 miljardi parametru, un tā izmērs ir aptuveni 105 GB.

Eksperimentā paredzēts izmēģināt arī mazākus Qwen modeļus tādās ierīcēs kā M6 Mac Mini, M5 MacBook Air, Asus TUF Gaming A14 ar AMD Strix Halo procesoru un vēlāk arī RTX Spark. Hermes un Qwen uzstādīšana noritēja samērā ātri, un sistēmu bija iespējams vadīt arī no tālruņa, izmantojot Telegram robotu.

No ikdienas apskata līdz Steam bibliotēkai

Taču pēc uzstādīšanas parādījās cita problēma — tukšs teksta lauks un jautājums, ko ar šo sistēmu vispār darīt. Lai sāktu ar nelielu uzdevumu un pārliecinātos, ka viss darbojas, Hermes tika konfigurēts ikrīta apskata sagatavošanai. Izmantojot cron darbu, tas pārbauda e-pastu un kalendāru, norāda uz steidzamu uzmanību prasošu informāciju un pievieno īsu laika prognozi.

Šāds apskats pats par sevi nav īpaši noderīgs, un tā izveidei noteikti nav vajadzīgs 12 000 dolāru dators. Tomēr to var pakāpeniski pilnveidot. Sākumā apskats atkārtoti neizdevās, līdz tika noskaidrots, ka macOS uzdevuma palaišanas brīdī plkst. 7.30 nedrīkst atrasties miega režīmā. Pēc šīs problēmas novēršanas process sāka darboties regulāri, lai gan joprojām jāizdomā, kādu papildu informāciju sistēmai dot, lai rezultāti būtu vērtīgāki.

Noderīgāks izrādījās uzdevums pārkārtot Steam spēļu bibliotēku. Tajā ir vairāk nekā 400 spēļu, kuras iepriekš tika manuāli kategorizētas gadījumiem, kad gribas nejauši izvēlēties kādu jaunu spēli. Steam šādu klasifikāciju pats nepiedāvā, tāpēc lietotājam spēles jāšķiro pa vienai.

Pēc lūguma pārkārtot bibliotēku Hermes, apskatot jau instalēto Steam klientu, spēja noteikt lielāko daļu spēļu un piedāvāt vairākus organizēšanas variantus. Galu galā spēles tika sakārtotas pēc žanra, saglabājot arī īpašas kategorijas, piemēram, izlases spēles, kooperatīvās spēles, ballīšu spēles un spēles, ko paredzēts spēlēt kopā ar dzīvesbiedri.

Lai aģents varētu veikt izmaiņas, tam bija jāpiešķir noteiktas atļaujas. Steam bibliotēkas gadījumā tika reģistrēta Steam Web API atslēga un nodota Hermes. Pēc piekļuves saņemšanas visu spēļu izšķirošana pa kategorijām aizņēma tikai dažas minūtes. API atslēgu pēc tam bija viegli atsaukt, jo turpmāka piekļuve nebija vajadzīga. Rezultātā bibliotēka kļuva daudz ērtāk pārskatāma, bet jaunas spēles nākotnē būs jāsakārto manuāli.

Dati, izklājlapas un mēģinājums automatizēt testus

Vietējais aģents tika izmantots arī datu analīzei. Hermes apstrādāja finanšu ierakstus un veica aprēķinus, kā arī izveidoja specifikāciju salīdzināšanas izklājlapu jaunam klēpjdatoram. Tie ir salīdzinoši vienkārši uzdevumi, taču tieši privātums noteica, vai tos vispār bija pieņemami uzticēt MI.

Finanšu informāciju nebija vēlmes augšupielādēt mākoņpakalpojumā, savukārt klēpjdatora dati tobrīd bija pakļauti embargo nosacījumiem. Tas, ka visa informācija palika datorā, bija izšķirošais iemesls par labu vietējā rīka izmantošanai.

Pašlaik sarežģītākais automatizācijas projekts ir skripts klēpjdatoru veiktspējas testu palaišanai. Parasti visi etalona testi tiek palaisti manuāli, un rūpes par datoru, kam jāizpilda aptuveni ducis testu trīs reizes, lai aprēķinātu vidējo rezultātu, aizņem ļoti daudz laika. Mērķis ir automatizēt vismaz daļu šī procesa.

Tomēr arī šeit MI nav radījis tūlītēju risinājumu. Hermes bija soli pa solim jāizskaidro visas nepieciešamās darbības, bet tā ģenerētie Python skripti, ko autors raksturo kā “vibe coded”, joprojām tiek pilnveidoti. Projekts vēl nav pabeigts un paliek izstrādes stadijā.

Vietējais MI nav maģisks asistents

Eksperiments vēl ir tikai sākuma posmā, un ir cerība atrast daudz vairāk praktisku uzdevumu, ko Hermes varētu paveikt. Vienlaikus jau tagad redzams, ka arī jaudīgi vietējie modeļi neveido universālu, maģisku asistentu. Lietas ne vienmēr notiek iecerētajā veidā — ikrīta apskats jau vairākkārt pārstājis darboties.

Vietējais MI šajā skatījumā ir tikai rīks jeb datorprogramma, kas darbojas lietotāja datorā. Mērķis nav izveidot digitālu draugu, un nav nepieciešams aģentam rakstīt “paldies”, “lūdzu” vai atvainoties, mainot uzdevumu. Tā vietā sistēma tiek uztverta tikpat neitrāli kā operētājsistēmas vadīšana ar peli.

Turpmākajos eksperimentos būtiska būs piesardzība, jo aģentam, kas pats veic darbības datorā, jāpiešķir piekļuve failiem, programmām un dažkārt arī ārējiem servisiem. Vietējais izpildes režīms mazina risku, ka sensitīvi dati nonāks mākoņplatformā, taču tas neatceļ nepieciešamību rūpīgi pārbaudīt atļaujas un rezultātus. Vietējā MI ceļš tādējādi izrādās vienlaikus aizraujošs, pārsteidzoši sarežģīts un frustrējošs.