Saya, Kirana Krisna Dewi!
Siswi SMK Telkom Sidoarjo.
Saya merasa sangat bersyukur telah berkesempatan mengikuti Webinar ITTS dengan tema “Peralihan AI dari Layanan Komputasi Awan ke Mesin Lokal.” Kegiatan ini membuka wawasan saya tentang bagaimana kecerdasan buatan (AI) kini tidak hanya tersedia secara daring melalui layanan cloud seperti ChatGPT, tetapi juga bisa dijalankan secara lokal di perangkat pribadi menggunakan alat bantu seperti Ollama, Open WebUI, dan Docker.
materi yang saya dapatkan:
1. Jenis Layanan AI
-
Cloud (ChatGPT)
Layanan AI yang tersedia secara global melalui internet dalam bentuk cloud service, seperti ChatGPT. -
Lokal (On-Premise)
Alternatif layanan AI yang dijalankan langsung di perangkat pengguna (komputer pribadi atau server instansi).
2. Alasan Beralih ke Layanan Lokal
Pergeseran dari cloud ke layanan lokal didorong oleh beberapa faktor:
-
Privasi Data lebih terjamin.
-
Efisiensi Biaya karena tidak bergantung pada langganan cloud.
-
Fleksibilitas Penggunaan tanpa tergantung koneksi internet.
-
Kustomisasi Bebas sesuai kebutuhan pengguna.
3. Alat Pendukung Layanan AI Lokal
Dua alat utama yang digunakan:
-
Ollama
Aplikasi open-source untuk mengelola dan menjalankan Large Language Models (LLM) secara lokal. -
Open WebUI
Antarmuka pengguna berbasis web yang memudahkan interaksi dengan model AI tanpa perlu menggunakan terminal.
Docker adalah platform berbasis container yang menyederhanakan proses instalasi, pengelolaan, dan distribusi aplikasi termasuk AI lokal.
5. Langkah Instalasi Ollama dan Open WebUI Menggunakan Docker
Persiapan
-
Gunakan WSL (Windows Subsystem for Linux) pada Windows 10 ke atas.
-
Install distribusi Ubuntu 24.04 LTS via Command Prompt.
1) Jalankan Ubuntu melalui WSL: wsl -d ubuntu
2) Install Docker Desktop di dalam lingkungan WSL.
3) Buat file docker-compose.yml : vim docker-compose.yml
4) Jalankan layanan: docker-compose up -d
6. Menjalankan Model AI
1) Masuk ke bash container Ollama: sudo docker exec -it ollama bash
2) Tarik (pull) model LLM: ollama pull deepseek-r1:8b
3) Jalankan model untuk pengujian: ollama run deepseek-r1:8b
7. Mengakses Antarmuka AI
Setelah layanan berjalan, akses Open WebUI di browser: http://localhost:3000

Tidak ada komentar:
Posting Komentar