Selvom kunstig intelligens er blevet udråbt for dets potentiale til at øge effektiviteten på tværs af flere industrier, har teknologien ramt adskillige vejspærringer i sig selv. Ineffektiviteten af centraliserede servere har fået nogle systemer til at opleve høj latenstid problemer eller endda direkte crashes. Når det er sagt, kan der være en løsning på disse ineffektiviteter: edge computing.
edge computing henviser til databehandling på netværk og enheder tættere på brugeren, i modsætning til traditionelle computermetoder på centraliserede servere og datacentre. Edge computing kan ses i aktion med alt fra salgssteder (POS) til Internet of Things (IoT) enheder og sensorer - i bund og grund er edge-enheder alt, der beregner lokalt og interagerer med skyen. Nu begynder vi at se kunstig intelligens-modeller tilføjet til den kategori af edge computing.
Skæringspunktet mellem AI og edge computing
ekspert i kunstig intelligens Siddhartha Rao har førstehåndserfaring med at arbejde med både AI og cloud computing-teknologier. Efter mere end ti års erfaring med at arbejde med førende teknologivirksomheder som Amazon Web Services, fungerer Rao nu som medstifter og istrerende direktør for Positron netværk, en AI-virksomhed med fokus på kunstig intelligens-løsninger til det videnskabelige forskningsmiljø. I betragtning af de unikke behov i dette fællesskab er Rao især interesseret i krydsfeltet mellem AI og edge computing.
"Der er flere grunde til, at edge computing er blevet så fremtrædende et paradigme, herunder at sænke latensen af brugerinteraktioner, sænke omkostningerne til cloud computing og understøtte offline brugeroplevelser," forklarer Rao. "Disse fordele er i strid med andre mål for edge computing, såsom at forbedre marginer ved at sænke enhedsomkostninger, forlænge batterilevetiden med processorer med lavt strømforbrug eller e modelopdateringer i miljøer med lav båndbredde, såsom udviklingslande."
Dette rejser imidlertid spørgsmålet om, hvordan kunstig intelligens-modeller - som kræver betydelig computerkraft - kan køres "på kanten." Rao forklarer, at succesfuld overgang til kunstig intelligens-modeller til kanten kræver forenkling af disse operationer.
"Til kontekst er en model en sekvens af lineære algebra (matrixmatematik) operationer, der udføres sekventielt for at forudsige et svar baseret på et input," forklarer Rao. "Machine learning ingeniører og videnskabsmænd reducerer den matematiske kompleksitet af disse operationer ved at anvende forskellige teknikker. Resultatet er mindre modeller, der kræver færre computercyklusser for at udføre, sænker computerkravene og forbedrer marginer, samtidig med at batteriets levetid forbedres."
"Denne teknik har flere positive indvirkninger på industrien," fortsætter han. "For eksempel modeller, der kører med lavere latency, bruger mindre batteristrøm og producerer mindre varme. De bruger også færre cloud computing-ressourcer til at udføre, hvilket reducerer deres miljøpåvirkning yderligere, og de reducerer forbruget af modelopdateringsbåndbredde. Alle disse fordele forbedrer brugeroplevelsen, mens de forbedrer marginer ved at sænke vareomkostningerne."
Hvorfor edge computing er fremtiden for AI
Den største fordel ved edge computing er, at den forbedrer brugeroplevelsen markant. Latency er en af de største udfordringer, enhver teknologisk innovation står over for, især i betragtning af menneskers korte (og faldende) opmærksomhedsspænd.
"Hvis en edge-enhed altid skal gå til skyen for en forudsigelse, forringer virkningen på latens brugeroplevelsen, hvilket reducerer kundeengagementet," forklarer Rao. "Mindre engagerede kunder er mindre tilbøjelige til at udnytte enheden, hvilket reducerer anvendelighed og adoption."
Edge computing kan også potentielt reducere omkostningerne ved kunstig intelligens-teknologi til et punkt, der er mere opnåeligt for mindre virksomheder. Når alt kommer til alt, er det dyrt at vedligeholde de servere, der kræves for at betjene store modeller. Edge computing reducerer kompleksiteten af disse applikationer, så de kan køre på kanten.
Rao advarer dog også mod nogle af de konsekvenser, som edge computing i AI-sfæren kan have, og omtaler dem som "tradeoffs" for de fordele, det giver. "Højere fejl- og hallucinationsrater, da brug af lavere præcision efterfølgende påvirker nøjagtigheden af svaret," forklarer han. ”Vidensdestillation kan forstærke bias og fairness-problemer i de større modeller. Endelig kræver edge computing ansættelse af dyre, specialiserede maskinlæringstalenter og anskaffelse af dyr maskinlæringsinfrastruktur såsom GPU'er, som er i høj efterspørgsel."
Som et eksempel på det vellykkede kryds mellem kunstig intelligens og edge computing-teknologi peger Rao på en use case fra hans tid hos AWS, der med succes forenklede en model i skala. "En model, jeg sponsorerede hos AWS, blev brugt i Opus codec," siger han. "Denne codec bruges af over 1 milliard enheder globalt og blev for nylig opgraderet af Amazon med en maskinlæringsbaseret pakkeskjulningsalgoritme, der gendannede lydstrømme selv i netværk med tab. Denne codec kan bruges på enheder med begrænset processorkraft, såsom en Raspberry Pi eller fastnettelefon, til at forudsige lydeksempler på millisekunder."
Rao nævner også en use case, der har vist særligt potentiale i forsvarssektoren. "Video i realtid blev behandlet på kameraer på en soldats riffelkikkert for at vejlede dem om, hvorvidt en kombattants bevægelser var mistænkelige eller muligvis til støtte for en ondsindet aktivitet såsom terrorisme," tilføjer han. »Soldaten kunne derefter foke overvågningen på følsomme og højrisikoområder på slagmarken. I begge eksempler blev kompleks lyd eller video i realtid behandlet af mikroprocessorer med lav effekt, der kørte på IoT-enheder."
Disse use cases er faktisk perfekte eksempler på, hvordan kunstig intelligens beregnet på kanten leverer overlegne resultater med hensyn til effektivitet og omkostninger. "Hvis de nyeste AI-modeller ikke kan optimeres til at køre på kanten, vil deres applikationer være begrænset til cloud-applikationer og brugeroplevelse," slutter Rao.
