Gunakan Qiskit Code Assistant dalam mode lokal

Pelajari cara menginstal, mengonfigurasi, dan menggunakan model Qiskit Code Assistant di mesin lokalmu.

Catatan

• Qiskit Code Assistant masih dalam status rilis preview dan dapat berubah sewaktu-waktu.
• Kalau kamu punya masukan atau ingin menghubungi tim pengembang, gunakan channel Qiskit Slack Workspace atau repositori GitHub publik yang terkait.

Mulai cepat (direkomendasikan)

Cara termudah untuk memulai Qiskit Code Assistant dalam mode lokal adalah menggunakan skrip setup otomatis untuk ekstensi VS Code atau JupyterLab. Skrip ini akan secara otomatis menginstal Ollama untuk menjalankan LLM, mengunduh model yang direkomendasikan, dan mengonfigurasi ekstensi untukmu.

Setup ekstensi VS Code

Jalankan perintah berikut di terminal:

bash <(curl -fsSL https://raw.githubusercontent.com/Qiskit/qiskit-code-assistant-vscode/main/setup_local.sh)

Skrip ini melakukan langkah-langkah berikut:

• Menginstal Ollama (jika belum terinstal)
• Mengunduh dan mengonfigurasi model Qiskit Code Assistant yang direkomendasikan
• Menyiapkan ekstensi VS Code agar bekerja dengan deployment lokal

Setup ekstensi JupyterLab

Jalankan perintah berikut di terminal:

bash <(curl -fsSL https://raw.githubusercontent.com/Qiskit/qiskit-code-assistant-jupyterlab/main/setup_local.sh)

Skrip ini akan:

• Menginstal Ollama (jika belum terinstal)
• Mengunduh dan mengonfigurasi model Qiskit Code Assistant yang direkomendasikan
• Menyiapkan ekstensi JupyterLab agar bekerja dengan deployment lokal

Model yang tersedia

Model saat ini

Berikut adalah model terbaru yang direkomendasikan untuk digunakan dengan Qiskit Code Assistant:

1. Qiskit/mistral-small-3.2-24b-qiskit - Dirilis Oktober 2025
2. qiskit/qwen2.5-coder-14b-qiskit - Dirilis Juni 2025
3. qiskit/granite-3.3-8b-qiskit - Dirilis Juni 2025
4. qiskit/granite-3.2-8b-qiskit - Dirilis Juni 2025

Model GGUF (direkomendasikan untuk lingkungan personal/laptop)

Model berformat GGUF dioptimalkan untuk penggunaan lokal dan membutuhkan sumber daya komputasi yang lebih sedikit:

1. mistral-small-3.2-24b-qiskit-GGUF – Dirilis Oktober 2025 Dilatih dengan data Qiskit hingga versi 2.1

2. qiskit/qwen2.5-coder-14b-qiskit-GGUF – Dirilis Juni 2025 Dilatih dengan data Qiskit hingga versi 2.0

3. qiskit/granite-3.3-8b-qiskit-GGUF – Dirilis Juni 2025 Dilatih dengan data Qiskit hingga versi 2.0

4. qiskit/granite-3.2-8b-qiskit-GGUF – Dirilis Juni 2025 Dilatih dengan data Qiskit hingga versi 2.0

Model Qiskit Code Assistant Open Source tersedia dalam format safetensors atau format file GGUF dan dapat diunduh dari Hugging Face seperti dijelaskan di bawah.

Versi Qiskit yang digunakan untuk pelatihan

Model						Metrik Benchmark					Tanggal rilis	Dilatih pada versi Qiskit
	QiskitHumanEval-Hard	QiskitHumanEval	HumanEval	ASDiv	MathQA	SciQ	MBPP	IFEval	CrowsPairs (English)	TruthfulQA (MC1 acc)
mistral-small-3.2-24b-qiskit	32.45	47.02	77.49	3.77	49.68	97.50	64.00	48.44	67.08	39.41	Januari 2026	2.2
qwen2.5-coder-14b-qiskit	25.17	49.01	91.46	4.21	53.90	97.00	77.60	49.64	65.18	37.82	Juni 2025	2.0
granite-3.3-8b-qiskit	14.57	27.15	62.80	0.48	38.66	93.30	52.40	59.71	59.75	39.05	Juni 2025	2.0
granite-3.2-8b-qiskit	9.93	24.50	57.32	0.09	41.41	96.30	51.80	60.79	66.79	40.51	Juni 2025	2.0
granite-8b-qiskit-rc-0.10	15.89	38.41	59.76	—	—	—	—	—	—	—	Februari 2025	1.3
granite-8b-qiskit	17.88	44.37	53.66	—	—	—	—	—	—	—	November 2024	1.2

Catatan: Semua model yang tercantum dalam tabel benchmark dievaluasi menggunakan system prompt masing-masing, yang didefinisikan dalam model Hugging Face mereka.

Model yang sudah tidak digunakan

Model-model ini tidak lagi dipelihara secara aktif tetapi masih tersedia:

1. qiskit/granite-8b-qiskit-rc-0.10 - Dirilis Februari 2025 (deprecated)
2. qiskit/granite-8b-qiskit - Dirilis November 2024 (deprecated)

Setup lanjutan

Kalau kamu lebih suka mengonfigurasi setup lokal secara manual atau butuh lebih banyak kontrol atas proses instalasi, buka bagian-bagian di bawah.

Unduh dari website Hugging Face

Ikuti langkah-langkah berikut untuk mengunduh model Qiskit Code Assistant dari website Hugging Face:

1. Buka halaman model Qiskit yang diinginkan di Hugging Face.
2. Pergi ke tab Files and Versions dan unduh file model safetensors atau GGUF.

Unduh menggunakan Hugging Face CLI

Untuk mengunduh model Qiskit Code Assistant yang tersedia menggunakan Hugging Face CLI, ikuti langkah-langkah berikut:

1. Instal Hugging Face CLI

2. Masuk ke akun Hugging Face

   huggingface-cli login

3. Unduh model yang kamu inginkan dari daftar sebelumnya

   huggingface-cli download <HF REPO NAME> <MODEL PATH> --local-dir <LOCAL PATH>

Deploy model Qiskit Code Assistant secara lokal melalui Ollama secara manual

Ada beberapa cara untuk men-deploy dan berinteraksi dengan model Qiskit Code Assistant yang sudah diunduh. Panduan ini menunjukkan cara menggunakan Ollama sebagai berikut: baik dengan aplikasi Ollama menggunakan integrasi Hugging Face Hub atau model lokal, maupun dengan paket llama-cpp-python.

Menggunakan aplikasi Ollama

Aplikasi Ollama menyediakan solusi sederhana untuk menjalankan LLM secara lokal. Mudah digunakan, dengan CLI yang membuat seluruh proses setup, manajemen model, dan interaksi cukup mudah. Cocok untuk eksperimen cepat dan bagi pengguna yang ingin menangani lebih sedikit detail teknis.

Instal Ollama

1. Unduh aplikasi Ollama

2. Instal file yang sudah diunduh

3. Jalankan aplikasi Ollama yang sudah terinstal

   info

   Aplikasi berjalan dengan sukses ketika ikon Ollama muncul di menu bar desktop. Kamu juga bisa memverifikasi layanan berjalan dengan membuka http://localhost:11434/.

4. Coba Ollama di terminal dan mulai menjalankan model. Contoh:

   ollama run hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit

Siapkan Ollama menggunakan integrasi Hugging Face Hub

Integrasi Ollama/Hugging Face Hub menyediakan cara untuk berinteraksi dengan model yang di-host di Hugging Face Hub tanpa perlu membuat modelfile baru atau mengunduh file GGUF atau safetensors secara manual. File template dan params default sudah disertakan untuk model di Hugging Face Hub.

1. Pastikan aplikasi Ollama sedang berjalan.

2. Buka halaman model yang diinginkan, dan salin URL-nya. Contoh, https://huggingface.co/Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF.

3. Dari terminal, jalankan perintah:

   ollama run hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit

Kamu bisa menggunakan model hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit atau salah satu model GGUF resmi yang direkomendasikan saat ini: hf.co/Qiskit/mistral-small-3.2-24b-qiskit-GGUF atau hf.co/Qiskit/granite-3.3-8b-qiskit-GGUF.

Siapkan Ollama dengan model GGUF Qiskit Code Assistant yang diunduh secara manual

Kalau kamu sudah mengunduh model GGUF secara manual seperti https://huggingface.co/Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF dan ingin bereksperimen dengan template dan parameter yang berbeda, ikuti langkah-langkah berikut untuk memuatnya ke aplikasi Ollama lokalmu.

1. Buat Modelfile dengan memasukkan konten berikut dan pastikan untuk memperbarui <PATH-TO-GGUF-FILE> ke path sebenarnya dari model yang sudah diunduh.

   FROM <PATH-TO-GGUF-FILE>
   TEMPLATE """{{ if .System }}
   System:
   {{ .System }}
   
   {{ end }}{{ if .Prompt }}Question:
   {{ .Prompt }}
   
   {{ end }}Answer:
   ```python{{ .Response }}
   """
   
   PARAMETER stop "Question:"
   PARAMETER stop "Answer:"
   PARAMETER stop "System:"
   PARAMETER stop "```"
   
   PARAMETER temperature 0
   PARAMETER top_k 1

2. Run the following command to create a custom model instance based on the Modelfile.

   ollama create Qwen2.5-Coder-14B-Qiskit -f ./path-to-model-file

   catatan

   This process may take some time for Ollama to read the model file, initialize the model instance, and configure it according to the specifications provided.

Run the Qiskit Code Assistant model manually downloaded in Ollama

After the Qwen2.5-Coder-14B-Qiskit model has been set up in Ollama, run the following command to launch the model and interact with it in the terminal (in chat mode).

ollama run Qwen2.5-Coder-14B-Qiskit

Some useful commands:

• ollama list - List models on your computer
• ollama rm Qwen2.5-Coder-14B-Qiskit - Delete the model
• ollama show Qwen2.5-Coder-14B-Qiskit - Show model information
• ollama stop Qwen2.5-Coder-14B-Qiskit - Stop a model that is currently running
• ollama ps - List which models are currently loaded

Manually deploy the Qiskit Code Assistant models in local through the llama-cpp-python package

An alternative to the Ollama application is the llama-cpp-python package, which is a Python binding for llama.cpp. It gives you more control and flexibility to run the GGUF model locally, and is ideal for users who wish to integrate the local model in their workflows and Python applications.

1. Install llama-cpp-python
2. Interact with the model from within your application using llama_cpp. For example:

from llama_cpp import Llama

model_path = <PATH-TO-GGUF-FILE>

model = Llama(
        model_path,
        seed=17,
        n_ctx=10000,
        n_gpu_layers=37, # to offload in gpu, but put 0 if all in cpu
    )

input = 'Generate a quantum circuit with 2 qubits'
raw_pred = model(input)["choices"][0]["text"]

You can also add text generation parameters to the model to customize the inference:

generation_kwargs = {
        "max_tokens": 512,
        "echo": False, # Echo the prompt in the output
        "top_k": 1
    }

raw_pred = model(input, **generation_kwargs)["choices"][0]["text"]

Manually deploy the Qiskit Code Assistant models in local through llama.cpp

Use the llama.cpp library

Another alternative is to use llama.cpp, an open-source library for performing LLM inference on a CPU with minimal setup. It provides low-level control over the model execution and is typically run from the command line, pointing to a local GGUF model file.

There are several ways to install llama.cpp on your machine:

• Install llama.cpp using brew, nix, or winget
• Run with Docker: See out the Docker documentation by llama.cpp team
• Download pre-built binaries from the releases page
• Build from source by cloning this repository

Once installed, you can use llama.cpp to interact with GGUF models in conversation mode as follows:

# Use a local model file
llama-cli -m my_model.gguf -cnv

# Or download and run a model directly from Hugging Face
llama-cli -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF -cnv

You can also launch an OpenAI-compatible API server for the model in the following way:

llama-server -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF

Advanced parameters

With the llama-cli program, you can control the model generation using command-line options. For example, you can provide an initial “system” prompt using the -p/--prompt flag. In conversation mode (-cnv), this initial prompt acts as the system message. Otherwise, you can simply prepend any desired instruction to your prompt text. You can also adjust sampling parameters - for instance: temperature (--temp), top-k (--top-k), top-p (--top-p), repetition penalty (--repeat-penalty), and the seed to use (--seed). The following is an example invocation using these options:

llama-cli -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF \
  -p "You are a friendly assistant." -cnv \
  --temp 0.7 \
  --top-k 50 \
  --top-p 0.95 \
  --repeat-penalty 1.1 \
  --seed 42

Untuk memastikan fungsi model Qiskit kami berjalan dengan baik, kami merekomendasikan menggunakan system prompt yang tersedia di repositori HF GGUF kami: system prompt untuk mistral-small-3.2-24b-qiskit-GGUF, Qwen2.5-Coder-14B-Qiskit-GGUF, granite-3.3-8b-qiskit-GGUF, dan granite-3.2-8b-qiskit-GGUF.

Hubungkan ekstensi ke deployment lokal secara manual

Gunakan ekstensi VS Code dan ekstensi JupyterLab untuk Qiskit Code Assistant guna meminta model Qiskit Code Assistant yang di-deploy secara lokal. Setelah kamu menyiapkan aplikasi Ollama dengan model, kamu bisa mengonfigurasi ekstensi untuk terhubung ke layanan lokal.

Hubungkan dengan ekstensi VS Code Qiskit Code Assistant

Dengan ekstensi VS Code Qiskit Code Assistant, kamu bisa berinteraksi dengan model dan melakukan code completion saat menulis kode. Ini bisa bekerja dengan baik untuk pengguna yang mencari bantuan menulis kode Qiskit untuk aplikasi Python mereka.

1. Instal ekstensi VS Code Qiskit Code Assistant.
2. Di VS Code, buka User Settings dan atur Qiskit Code Assistant: Url ke URL deployment Ollama lokalmu (misalnya, http://localhost:11434).
3. Muat ulang VS Code dengan membuka View > Command Palette... dan memilih Developer: Reload Window.

Model Qiskit Code Assistant yang dikonfigurasi di Ollama akan muncul di status bar dan siap digunakan.

Hubungkan dengan ekstensi JupyterLab Qiskit Code Assistant

Dengan ekstensi JupyterLab Qiskit Code Assistant, kamu bisa berinteraksi dengan model dan melakukan code completion langsung di Jupyter Notebook. Pengguna yang terutama bekerja dengan Jupyter Notebook bisa memanfaatkan ekstensi ini untuk lebih meningkatkan pengalaman menulis kode Qiskit.

1. Instal ekstensi JupyterLab Qiskit Code Assistant.
2. Di JupyterLab, buka Settings Editor dan atur Qiskit Code Assistant Service API ke URL deployment Ollama lokalmu (misalnya, http://localhost:11434).

Model Qiskit Code Assistant yang dikonfigurasi di Ollama akan muncul di status bar dan siap digunakan.