Hvis du vil eksperimentere med kunstig intelligens-modeller på din egen Windows-PC uten å være avhengig av skyen, er Ollama for tiden et av de beste inngangspunktene. Med dette verktøyet kan du laste ned modeller som DeepSeek, Llama, Mistral, Phi, Qwen, Llava eller Gemma og kjøre dem lokalt, slik at dataene dine holdes trygge hjemme og uten å betale månedlige abonnementer.
I denne veiledningen lærer du nøyaktig hva Ollama er, hvordan du installerer det på Windows trinn for trinn , hvordan du starter dine første maler fra terminalen, og hvordan du får mest mulig ut av det både i chatmodus og integrert med andre verktøy som OpenWebUI eller til og med ComfyUI. Målet er å forklare det tydelig, uten sjargong, slik at du kan ha din egen "lokale ChatGPT" på bare noen få minutter.
Hva er Ollama, og hvorfor er det verdt å bruke det på Windows?
Ollama er et lett, åpen kildekode-program som installeres på datamaskinen din (Windows, macOS eller Linux) og fungerer som en slags «motor» eller klient for AI-modeller . Det er ikke en chatbot i seg selv, men snarere grunnlaget du deretter laster ned og kjører modeller som DeepSeek, Llama 3.2, Gemma 2 eller Mistral på.
Den første store fordelen er at alt kjører lokalt : modeller lastes ned og lagres på disken din, og spørringene dine behandles på din egen maskinvare. Dette betyr at du ikke trenger å gå til noe nettsted , du er ikke avhengig av et eksternt API, og meldingene dine reiser ikke til tredjepartsservere – en viktig fordel hvis personvern er en bekymring.
Det andre viktige poenget er at du kan bruke AI-en selv uten internettforbindelse . Du trenger bare en nettverkstilkobling for å laste ned Ollama og modellene første gang. Etter det, hvis du ikke installerer noe nytt, kan du fortsette å chatte med din favoritt LLM offline, noe som er ideelt for bærbare datamaskiner eller datamaskiner som ikke alltid er tilkoblet.
Ved å kjøre modellene på maskinen din omgår du dessuten mange av restriksjonene og filtrene som vanligvis finnes på nettversjoner. Dette betyr ikke at du kan gjøre hva som helst uten begrensninger, men det gir deg mer spillerom enn når du er avhengig av en nettjeneste med svært strenge retningslinjer.
Den andre unike funksjonen til Ollama er at den drives av kommandolinjen . Den har ikke et eget grafisk grensesnitt; du åpner kommandoprompten eller PowerShell, skriver en kommando som ` ollama run deepseek-r1:8b`, og derfra kan du chatte direkte fra terminalen, som vil vise en indikator som ` >>>` for å gi deg beskjed om at den er klar til å motta forespørsler.
Fordeler med å kjøre AI-modeller lokalt
En stor språkmodell ( LLM) er, enkelt sagt, «hjernen» som genererer tekst, kode eller beskrivelser basert på dine inndata. Med Ollama kan du ha den hjernen installert på Windows-PC-en din i stedet for å leie den fra en tredjepart via skyen.
Fra et praktisk synspunkt får du personvern : alt du skriver, chatteloggen din og alt generert innhold forblir på enheten din. Dette er spesielt nyttig hvis du trenger å håndtere interne dokumenter, proprietær kode, sensitiv informasjon eller rett og slett ikke vil gi bort dataene dine.
Du vil også legge merke til fordeler når det gjelder kostnader og fleksibilitet . Du trenger ikke å betale for Pro-abonnementer eller bekymre deg for token- eller spørregrenser. Når du har PC-en og de nedlastede malene, kan du chatte, generere tekst, planlegge eller beskrive bilder uten ekstra kostnad.
En annen styrke er at du kan tilpasse miljøet ditt mye bedre . Med lokale modeller kan du prøve forskjellige familier (Llama, Mistral, Phi, Gemma, DeepSeek…), velge størrelser basert på RAM-minnet ditt og integrere dem i dine egne arbeidsflyter: fra webgrensesnitt som OpenWebUI til noder i ComfyUI for å forbedre ledetekster eller beskrive bilder.
Ulempen er imidlertid at maskinvaren din dikterer ytelsen . En liten 1B- eller 3B-modell kjører vanligvis problemfritt på nesten alle moderne datamaskiner, mens en 33B- eller 70B-modell krever mye RAM, og hvis du vil ha noe virkelig responsivt, et kraftig GPU. Derfor tilbyr Ollama varianter av hver modell i flere størrelser, slik at du kan justere ressursforbruket til PC-en din.
Krav og ytelse: hva du trenger for å bruke Ollama på Windows
Llama, som et program, er ganske lett; den virkelige vekten kommer fra modellene du velger å installere. En modell som Llama 3.2 i en liten variant kan ta opp rundt 2 GB, mens monstre som Gemma 2 på 27 GB kan øke minneforbruket drastisk og forhindre at datamaskinen din starter opp i det hele tatt.
Ollamas egne utviklere anbefaler å ha minst 8 GB RAM tilgjengelig for 7B-modeller , 16 GB for 13B-modeller og 32 GB for 33B-modeller . Dette betyr ikke at de ikke vil starte opp med mindre, men du kan oppleve frysing, krasj eller ekstremt trege responstider.
I praktiske tester med modeller som Llama 3.2 på relativt beskjedne bærbare datamaskiner, lå CPU-bruken på rundt 50 % ved generering av lange tekster (for eksempel artikler på rundt 1000 ord på AGI), og effekten på RAM var rimelig. På mange nåværende mellomstore datamaskiner vil disse små og mellomstore variantene kjøre uten problemer.
Hvis du går videre til tyngre modeller som Gemma2:27b eller noen større DeepSeek-modeller, endrer ting seg. På datamaskiner med begrenset RAM kan du støte på feil når du prøver å starte disse modellene på grunn av utilstrekkelig minne . Derfor er det viktig å starte med mindre størrelser og bare skalere opp hvis PC-en din kan håndtere det.
I DeepSeek-arenaen har de destillerte R1- modellene med størrelser som 1.5B, 8B eller 14B vist en veldig interessant balanse mellom ytelse og ressurser, til det punktet at Microsoft har annonsert at de vil integrere 1.5B og høyere varianter i sine Copilot+ PC-er for å dra nytte av effektiviteten deres.
Last ned og installer Ollama på Windows trinn for trinn
For å begynne å bruke dette verktøyet på datamaskinen din, er installasjonsprosessen ganske lik den for ethvert annet Windows-program, selv om den deretter administreres av kommandoer.
Gå til det offisielle Ollama-nettstedet (ollama.com) . Så snart du går inn, vil du se en nedlastingsknapp . Klikk på den, så tar du deg til en side med nedlastinger for Windows, macOS og Linux. Nettstedet oppdager vanligvis systemet ditt automatisk og tilbyr riktig nedlasting.
Velg Windows- alternativet og klikk på Last ned igjen for å laste ned installasjonsprogrammet. Det er en standard kjørbar fil, så når nedlastingen er fullført, dobbeltklikker du på den for å starte veiviseren.
Under installasjonen av Ollama på Windows er det ikke noe mysterium : du godtar, klikker på "Neste" så mange ganger som nødvendig, og når Installer- knappen vises , velger du den for å kopiere filene og registrere tjenesten som skal kjøre i bakgrunnen.
Når du er ferdig, ser du kanskje ingen nye vinduer. Dette er normalt, fordi Ollama fortsetter å kjøre i bakgrunnen . Hvis du åpner varslingsområdet på oppgavelinjen (nederst til høyre), skal du se ikonet som indikerer at den lokale serveren er aktiv.
Konfigurering av Ollama på Windows: Automatisk oppstart og modellmappe
Når den er installert, er det verdt å justere et par detaljer i Windows for å ha mer kontroll over når Ollama starter og hvor den lagrer modellene , spesielt hvis du har lite diskplass.
Som standard starter Ollama automatisk med Windows . Hvis du foretrekker å bare starte det når du trenger det, åpner du Oppgavebehandling (for eksempel med Ctrl+Alt+Delete), går til fanen Oppstartsprogrammer , finner Ollama-oppføringen, høyreklikker på den og velger «Deaktivert ». Dette forhindrer at det lastes inn hver gang du slår på PC-en.
Det andre viktige punktet er å velge mappen der malene skal lagres. Du kan be Windows om at Ollama skal bruke for eksempel en sekundær disk med mer plass. For å gjøre dette, åpne søkeboksen i Start-menyen og skriv ENV , og klikk deretter på «Rediger systemmiljøvariabler».
I vinduet Systemegenskaper klikker du på «Miljøvariabler» . I delen Brukervariabler klikker du på «Ny…» . I feltet Variabelnavn skriver du nøyaktig OLLAMA_MODELS , og i Variabelverdi skriver du inn banen til mappen der du vil at modellene skal lagres, for eksempel H:\Ollama\Models.
Det er viktig at du ikke endrer variabelnavnet . Hvis du bruker et annet navn, vil Ollama ignorere den banen og fortsette å bruke standardplasseringen. Når du er ferdig, klikker du OK i alle åpne vinduer for å lagre endringene.
Slik bruker du kommandolinjen til å jobbe med Ollama
Nå som tjenesten er installert og konfigurert, er det på tide å åpne en terminal i Windows for å kommunisere med modellene dine. Du kan bruke enten PowerShell eller den klassiske kommandoprompten (CMD) ; begge fungerer bra med Ollama.
For å åpne CMD, gå til søkefeltet i Windows, skriv cmd , og hvis du vil unngå tillatelsesproblemer, kan du høyreklikke og velge "Kjør som administrator" . Dette vil åpne ledetekstvinduet.
Hvis du bare skriver ollama i terminalen og trykker Enter, vil du se en liste over tilgjengelige kommandoer. Blant dem er de viktigste for daglig bruk: run for å starte modeller, list for å se de du har lastet ned, og rm for å slette de du ikke lenger vil beholde.
Når du kjører `ollama run <model>` , vil Ollama laste den ned automatisk hvis modellen ikke allerede er nedlastet, og når den er ferdig, vil den forbli lastet og vente på dine instruksjoner. I selve terminalen vil du se flagget ` >>>` ; alt du skriver fra det punktet og utover sendes til LLM, og svaret genereres linje for linje i det samme vinduet.
Under en økt opprettholder modellen samtalekonteksten , slik at du kan stille sammenhengende spørsmål: først spør du om været i Barcelona om sommeren, og deretter spør du: «Og i Paris?» uten å måtte gjenta all informasjonen. Hvis du vil fjerne den konteksten og starte på nytt, kan du bruke /clear -kommandoen i økten.
Installer og test modeller med Ollama (Llama, DeepSeek og selskaper)
Ollamas modellkatalog er ganske omfattende. Du kan se den komplette listen på den offisielle nettsiden, i søkeseksjonen (ollama.com/search) , hvor du finner alternativer som Llama 2, Llama 3.2, Mistral, Gemma, Phi, Qwen, Llava, Fuyu, CodeLlama, WizardCoder, Alpaca og mange flere.
Når du åpner detaljsiden for en bestemt modell, vil du se en beskrivelse, antall parametere og de forskjellige størrelsesvariasjonene (angitt med noe sånt som 1B, 7B, 13B, 70B osv.). Kommandoen du må lime inn i terminalen for å laste ned og kjøre den spesifikke versjonen vises også tydelig .
For eksempel, for å starte en enkel modell som Llama 3.2 , kan du bruke en kommando som ` ollama run llama3.2` . Når du kjører det for første gang, vil programmet lastes ned (og ta opp noen få GB, avhengig av varianten), og når det er ferdig, kan du begynne å chatte med det som om det var en lokal ChatGPT.
Hvis du er spesielt interessert i DeepSeek R1 , som er veldig populært for sin evne til å demonstrere "dyp tenkning" mens man resonnerer, finnes det flere versjoner tilgjengelig. På Windows kan du åpne CMD og kjøre, for eksempel:
- ollama kjøre deepseek-r1:1.5b (den letteste, ideell for beskjedne lag)
- ollama kjøre deepseek-r1:8b (balanse mellom kvalitet og ressurser)
- ollama kjøre deepseek-r1:14b
- ollama kjøre deepseek-r1:32b
- ollama kjøre deepseek-r1:70b (svært krevende på maskinvare)
Når modellen er lastet inn, vil du se at den begynner å vise sin interne resonneringsprosess før det endelige svaret. Denne delen kan være ganske lang og bruker ikke etiketter, så så snart du merker at den bytter til mer flytende spansk eller slutter å «tenke høyt», vet du at den gir deg det endelige svaret.
For å administrere den installerte programvaren, viser kommandoen `ollama list` alle modellene som finnes på maskinen din, mens `ollama rm model_name` lar deg slette de du ikke lenger bruker for å frigjøre plass. Hvis du noen gang vil se rask hjelp mens du er i en chat-økt, kan du skrive `/?` , og listen over interne kommandoer vil vises (for eksempel `/bye` for å avslutte eller `/show` for å se detaljer om gjeldende modell).
Bruk av Ollama med et grafisk grensesnitt: OpenWebUI
Selv om terminalen fungerer bra, er det normalt å ønske seg et mer brukervennlig grensesnitt for chatting , lagring av samtaler, vedlegg av bilder eller visning av fargekodet kode. Et av de mest omfattende alternativene for dette er OpenWebUI , et åpen kildekode-nettgrensesnitt som kobles til Ollama-backend.
OpenWebUI er designet for å tilby en moderne chatopplevelse: den støtter Markdown, LaTeX, kodeutheving , administrasjon av modellparametere og bruk av RAG (Retrieval Augmented Generation) for å berike svar med eksterne kilder. Videre fungerer den bra på stasjonære datamaskiner og mobile enheter, over hele det lokale nettverket.
Den enkleste måten å distribuere OpenWebUI på er med Docker . På Windows betyr dette å ha Docker Desktop installert og først aktivere Windows Subsystem for Linux (WSL) , siden Docker er avhengig av det for å kjøre containere.
Den generelle arbeidsflyten ville være: først, installer Docker og WSL ; sørg deretter for at Ollama kjører på PC-en din; og til slutt, kjør OpenWebUI-containeren som kobler til Ollama som AI-motoren. Når den kjører, får du tilgang til den via nettleseren din på en lokal adresse (for eksempel http://localhost:3000 , avhengig av konfigurasjonen din) og administrerer chatter, modeller og innstillinger med et visuelt grensesnitt.
Når du har alt dette oppe og går, kan du prøve ut diverse avanserte funksjoner fra OpenWebUI: bruk Markdown til å strukturere notater, LaTeX for formler, juster temperatur eller maksimal lengde på svar, eller integrer eksterne datakilder for rikere spørringer.
Integrer Ollama med ComfyUI og andre kreative arbeidsflyter
Utover tekstchat kan modellene du administrerer med Ollama være en sentral del av kreative arbeidsflyter , for eksempel sammen med ComfyUI og Stable Diffusion for generering av bilder og videoer.
I denne sammenhengen brukes en LLM til å skrive eller forbedre prompts som du deretter legger inn i Stable Diffusion eller andre visuelle modeller. Du kan be dem om å utvide en enkel beskrivelse for en video, forbedre stilen eller tilpasse teksten til et veldig spesifikt format.
En annen interessant funksjon er den automatiske beskrivelsen av bilder : en modell som Llava eller Florence2 (avhengig av arbeidsflyten) analyserer et bilde og genererer en detaljert beskrivende tekst. Denne teksten kan brukes til å gjenskape stilen, dokumentere datasett eller brukes i andre kreative prosesser.
For å bruke Ollama i ComfyUI må du først installere de nødvendige nodene , for eksempel de fra Plush-for-ComfyUI-prosjektet. Deretter integrerer du LLM-noder i arbeidsflyten din som kobler seg til den lokale Ollama-serveren. I nodealternativene kan du vanligvis velge hvilke av de nedlastede modellene du vil bruke.
I en bilde-til-video-arbeidsflyt kan du for eksempel ha en første LLM som beskriver bildet og en annen som omskriver ledeteksten for å optimalisere den for video . Hvis du i stedet for å stole på skybaserte modeller kobler dem til Ollama, vil hele prosessen kjøre lokalt, med fordelen av personvern og ingen bruksgrenser.
Velg riktig modell avhengig av hva du vil gjøre
Når du velger hva du skal laste ned på Ollama, er det lurt å være tydelig på hva slags oppgaver du skal gjøre oftest og hvordan maskinvaren din yter. Ikke alle modeller passer til alt, og de bruker heller ikke alle like mye ressurser.
For generell chat og svar på spørsmål fungerer Llama 2 / Llama 3.2 eller Mistral- familiene i mellomstørrelse vanligvis veldig bra. De pleier å gi sammenhengende og naturlige svar for daglig bruk, uten å kreve for mye ressurser.
Hvis du fokuserer på programmering og kodegenerering , kan spesialiserte modeller som CodeLlama eller WizardCoder gi deg bedre resultater enn en generalistmodell, ettersom de er skreddersydd for å tolke og produsere kode, forstå feil og foreslå løsninger.
For multimodale oppgaver (tekst + bilde) er modeller som LLaVA eller Fuyu designet for å forstå bilder, generere undertekster, svare på spørsmål om hva de ser, eller kombinere visuell og tekstlig input.
Og hvis du vil eksperimentere med DeepSeek R1s berømte «dyptenkning », kan du starte med 8B-varianten, som tilbyr en svært attraktiv balanse mellom responskvalitet og ressurskrav. Hvis du senere anskaffer deg en maskin med mer RAM og et kraftig GPU, kan du oppgradere til høyere versjoner.
I alle tilfeller, når du besøker modellens datablad på Ollamas nettsted, vil du tydelig se kommandoen som skal kjøres og den omtrentlige filstørrelsen. Jo høyere B (antall parametere) er , desto mer minne og lagringsplass vil den forbruke, men du vil generelt også få mer nyanserte og kraftige resultater.
Med alt dette i tankene handler det å sette opp ditt eget AI-miljø med Ollama på Windows til syvende og sist bare om noen få trinn: installer applikasjonen, juster et par systeminnstillinger, last ned modellen som interesserer deg mest, og begynn å samhandle med den fra terminalen eller gjennom et grensesnitt som OpenWebUI. Derfra kan du legge til flere modeller, integrere dem i kreative eller utviklingsmessige arbeidsflyter, og gradvis forbedre ditt lokale AI-"laboratorium" uten å være avhengig av eksterne tjenester.