Apples AI-utvecklare säger att de har gjort ett genombrott när det gäller att distribuera LLM (Large Language Models, typ ChatGPT) på Iphone och andra Apple-enheter med begränsat minne, detta tack vare en ny innovativ teknik för användning av flashminne.
LLM:s som ChatGPT och Claude kräver vanligtvis stora mängder minne för att fungera, vilket är en utmaning för Iphone som har begränsad minneskapacitet. För att ta itu med det här problemet har Apples utvecklare tagit fram en ny teknik som använder flashminne – samma minne som dina appar och foton bor i – för att lagra AI-modellens data, detta skriver Macrumors.
I en ny forskningsartikel med titeln LLM in a flash: Efficient Large Language Model Inference with Limited Memory, skriver författarna att flashlagringen är större på mobiler än arbetsminnet, som traditionellt används för att köra LLM. Deras nya metod kringgår begränsningen med två nyckeltekniker som minimerar dataöverföringen och maximerar flashlagringens genomströmning:
Windowing: Se detta som en återvinningsmetod. Istället för att ladda ny data varje gång, återanvänder AI:n en del av den data den redan har bearbetat. Detta minskar behovet av konstant minneshämtning, vilket gör processen snabbare och smidigare.
Row-Column Bunting: Denna teknik är som att läsa en bok i större bitar istället för ett ord i taget. Genom att gruppera data mer effektivt kan den läsas snabbare, vilket påskyndar AI:s förmåga att förstå och generera språk.
Kombinationen av dessa metoder gör att AI-modeller kan använda dubbelt så mycket arbetsminne som telefonen egentligen har.
Genombrottet öppnar nya möjligheter för framtida Iphone, såsom mer avancerade Siri-funktioner, språköversättning i realtid och sofistikerade AI-drivna funktioner inom fotografering och förstärkt verklighet.
Apple ska enligt uppgift vara i full färd med att utveckla en egen generativ AI kallad “Ajax”.