IconMainDarkMOROBUIconMainLigthMOROBUIconMainDarkMOROBU

Correr el modelo Qwen2.5-Coder-7B-Instruct

Brandon M. · 21 de julio de 2026

Introducción

Holi, la IA esta en todos lados, desde generar AI slop hasta casos útiles como la escuela xdxd, personalmente siento que la IA es algo que verdaderamente aporta, pero hay que saber donde utilizarla. Para mi, no es solamente "métele IA we pa que sea moderxs" si no intentar buscar casos de uso específicos en donde sean útiles, no solamente algo que estorbe.

Y bueno, pues en mi chamba actual hay una necesidad en donde creo que es una oportunidad para aplicar la IA de una manera en donde aporte. Lo buscaban era migrar scripts o incluso proyectos a una nuevo lenguaje o framework o etc, eda? Yo plantee que podíamos cargar un modelo local aprovechando un servidor que teníamos por ahí, consumirlo y que migre, esto de manera local, para dos temas:

  1. Privacidad
  2. Costo, ya que usar tokens para algo así de básico pues puede tener su costo equisde.

Ahora, aunque si voy a dejar los pasos, no quiero ver este articulo como una guía, ya que mi caso fue bastante particular, me tope con varias cositas que pues llegan a pasar en la vida real.

Pasitos

Va pues lo vamos a correr con Ollama, y aquí fue donde me tope con la primera piedrita, ya que no podía descargarlo directamente desde GitHub y me faltaban unas cositas para descomprimir, tons lo tuve que descargar directo y luego descomprimir con Python haciendo uso zstandard ya que tampoco tenia opción de descomprimir el binario, tons ahora si los pasos.

1- Descargar y descomprimir Ollama

Primero lo descargamos con:

bash
curl -L https://ollama.com/download/ollama-linux-amd64.tar.zst -o /tmp/migration/ollama.tar.zst

Y yo lo tuve que descomprimir con un script en Python

typescript
python3 -c "
import sys, site, tarfile
sys.path.append(site.getusersitepackages())
import zstandard as zstd

dctx = zstd.ZstdDecompressor()
tar_path = '/tmp/migration/ollama.tar'

with open('/tmp/migration/ollama.tar.zst', 'rb') as ifh, open(tar_path, 'wb') as ofh:
    dctx.copy_stream(ifh, ofh)

with tarfile.open(tar_path) as tar:
    tar.extractall(path='/tmp/migration')
"

2- Cambiar la bibliotecasssss

Otra cosa que tuve que hace fue cambiar el nombre de la biblioteca ya que con el CPU especifico que teniamos no funcaba y no funcaba y marcaba puro:

Error: 500 Internal Server Error: llama-server process has terminated: signal: segmentation fault (core dumped)

Solamente cambie el nombre de la biblioteca de fondo especializada de Sapphire Rapids, obligando al Ollamas a recurrir al ejecutor estándar de CPU AVX2, que es estable y se supone es mas en fa, que suena bien mamalon pero solo fue este comando XDXD.

bash
find /tmp/migration -name "libggml-cpu-sapphirerapids.so" -exec mv {} {}.disabled \;

3- Correr Ollama sin ser el roots

Ejecutar al Ollama sin ser un usuario root y aparte en directorios que no sean estándar (mi caso ya que no tenia acceso a una instancia en si) requiere apuntar las variables de Ollama fuera de sus directorios defualt por lo cual tuve que ejecutar unas cositas para configurarlo.

3.1- Configurar las variables de entorno

bash
export HOME="/tmp/migration"
export OLLAMA_MODELS="/tmp/migration/models"

3.2- Ejecutar el proceso de fondo de host

bash
/tmp/migration/bin/ollama serve > /tmp/migration/server.log 2>&1 &

3.3- Por last, verificar

bash
curl http://localhost:11434/api/tags

Este ultimo comando nos debe devolver esta respuesta: {"models":[]}

4- Ora si descarga y ejecutar

Y pues con esto en si ya lo tenemos apá, lo único que hace falta es calarlo, pero para eso nuevamente definimos las variables y también descargamos el modelo que queramos.

4.1- Configurar las variables de entorno

bash
export HOME="/tmp/migration"
export OLLAMA_MODELS="/tmp/migration/models"

4.2- Descargarlo y calarlo

bash
/tmp/migration/bin/ollama run qwen2.5-coder:7b "Escribe código para decir si puedes imaginarlo puedes programarlo en Python"

Conclusión

Ojito, esto no es una guía, te puede servir si estas en el caso especifico en donde no tienes usuario root, ademas tienes que instalarlo en otra parte, etc etc. En si es mas un registro para saber como darle mantenimiento XD, si algo de acá te funca, pues me alegra, bye.