Wanneer je gebruikmaakt van ChatGPT of andere AI-tool heb je eigenlijk altijd internet nodig. Dat is logisch, want jouw verzoek om tekst, afbeeldingen, audio of video te genereren, kost rekenkracht. Dankzij de gigantische rekenkracht van de BigTech-bedrijven, wordt jouw AI-prompt snel verwerkt, en heb je snel je reactie. Deze rekenkracht kan ook vanuit je smartphone of laptop komen. Dit heet lokale AI of lokale intelligentie. Dat heeft voor- en nadelen, maar er zijn situaties waar dit bijzonder handig kan zijn. Niet op de laatste plaats omdat je dan geen internetverbinding nodig hebt. Geen internetverbinding betekent ook dat je prompts privé zijn. Werk je in het onderwijs, dan weet je hoe belangrijk het is om zorgvuldig en discreet met informatie van leerlingen en studenten om te gaan. Maar welke apps kun je hiervoor precies gebruiken?
1. Fullmoon (voor iOS & Android, GRATIS)
Met de app van Fullmoon heb je kleine keur aan kleine taalmodellen tot je beschikking. Hoe gaat dit in zijn werk? Je downloadt de app en opent deze. Vervolgens installeer je simpelweg een taalmodel naar keuze.
Onze tip is om te beginnen met een wat kleiner (lees: minder GB) taalmodel, zoals Llama-3.2 3b-instruct-4bit. Ook twee modellen van Deepseek zijn beschikbaar.
Voordelen:
- je hebt een online ‘ChatGPT’ op je smartphone
- je gegevens blijven privé. De app kan namelijk simpelweg offline gebruikt worden. Ook al ontzeg je de app van alle toegankelijkheid, hij blijft werken.
- het is gratis!
Nadelen:
- de chat is gemiddeld iets trager dan bij taalmodellen die met de Cloud (lees: internetverbinding) werken
- de batterij van je telefoon gaat sneller leeg
- de kwaliteit van de output is minder goed, soms wat meer hallucinaties (controleer dus altijd kritisch de output)
Downloadpagina: https://fullmoon.app/?ref=babble-ai
2. PocketPal AI (voor iOS & Android, GRATIS)
De app van PocketPal AI is vergelijkbaar met die van Fullmoon.
Deze app biedt wat meer verschillende taalmodellen die je kunt installeren. Zo heb je de beschikking over SmolVLM, Gemma2, Gemmasutra-mini, Phi-3.5 mini, Qwen 2.5 en Lama 3.2.
Belangrijk hierbij is dat ieder model zijn eigen specialiteit heeft. Zo is het Phi-model goed in wiskunde, en kan het Gemma 2 model weer goed redeneren.
Een groot pluspunt, maar wat wel wat extra kennis vereist, is dat je met deze app zelf via de website Hugging Face (waar je open source taalmodellen kunt downloaden) modellen kunt installeren.
Dat laatste is interessant, omdat de trend momenteel is dat AI-modellen steeds kleiner en efficiënter worden. Steeds vaker is het mogelijk om simpelweg op je eigen computer lokaal (lees: zonder internet) gebruik te maken van generatieve AI.
Voordelen:
- je hebt een online ‘ChatGPT’ op je smartphone
- je gegevens blijven privé. De app kan namelijk simpelweg offline gebruikt worden. Ook al ontzeg je de app van alle toegankelijkheid, hij blijft werken.
- het is gratis!
- veel verschillende LLM’s (taalmodellen beschikbaar)
- biedt ook wat zwaardere modellen (2+GB)
- optie om via Hugging Face extra open source LLM’s te downloaden en te installeren (!)
Nadelen:
- de chat is gemiddeld iets trager dan bij taalmodellen die met de Cloud (lees: internetverbinding) werken
- de batterij van je telefoon gaat sneller leeg
- de kwaliteit van de output is minder goed, soms wat meer hallucinaties (controleer dus altijd kritisch de output)
Downloadpagina: https://play.google.com/store/apps/details?id=com.pocketpalai&hl=en-US
3. AI.Local
De app van AI.Local AI is net weer wat anders dan de bovenstaande apps. Met AI.Local kun je namelijk van je smartphone of computer een lokale AI-server maken.
Wat is dat dan precies?
Een LLM (AI-taalmodel) heeft rekenkracht nodig om te kunnen werken. Vraag je iets aan ChatGPT, dan wordt jouw vraag razendsnel doorgestuurd naar de server (lees: computers) van OpenAI. Dankzij gigantische rekenkracht van hun servers, kunnen deze bedrijven de vragen van miljoenen gebruikers over de hele wereld verwerken.
Echter, deze rekenkracht kan ook vanuit je eigen computer of laptop laten komen. Dat kan met de bovenstaande twee apps, maar met AI.Local kun je ook een server maken. Oftewel, een AI-chatbot die je kunt oproepen, maar waarvan het model simpelweg de rekenkracht van jouw telefoon of computer gebruikt.
Voordelen:
- je hebt een online ‘ChatGPT’ op je smartphone
- je gegevens blijven privé. De app kan namelijk simpelweg offline gebruikt worden. Ook al ontzeg je de app van alle toegankelijkheid, hij blijft werken.
- je kunt meerdere mensen gratis op jouw server gebruik laten maken van AI. Dit kost natuurlijk wel batterij/accu van je apparaat, en dus ook afschrijving daarop. Maar het is wel aanzienlijk minder privacygevoelig.
Nadelen:
- de chat is gemiddeld iets trager dan bij taalmodellen die met de Cloud (lees: internetverbinding) werken
- de batterij van je telefoon gaat sneller leeg
- de kwaliteit van de output is minder goed, soms wat meer hallucinaties (controleer dus altijd kritisch de output)
Disclaimer: het volledige artikel is geschreven zonder behulp van AI. De suggesties voor de apps zijn gedaan met behulp van ChatGPT. De uitgelichte afbeelding is gegenereerd met behulp van AI.
Over de auteur
