--
AdminUser - 22 Nov 2024
METODO 2: INICIAR UNA SESIÓN PERSISTENTE(POR LOTES) CON VENTANAS(X) y ejecutar JUPYTER con Python, R, Julia, Octave
Las tareas comunes incluye, Instalacion personalizada de paquetes y entornos, creación de gráficos interactivos, simulación de algoritmos y procesos. integración con bases de datos, el Prototipado de algoritmos antes de implementarlos en producción el uso de el Lenguaje estadístico R para análisis y visualización de datos.
Procedimiento
1. Debe ingresar a la federación de Cluster con ssh usando el parámetro "-XC" para poder ejecutar entornos graficos. Video
a. Desde cualquier parte de internet con un cliente ssh ejecute:
|
|
ssh -XC USUARIO@168.176.34.122 |
b. Luego debe ir al nodo de envío perseus; tambien usando "-XC" para ejecutar entornos graficos.
|
|
ssh -XC perseus |
2. SIEMPRE debe encolarse para que slurm ubique y reserve los recursos que va a usar.
Por ejemplo:
Para una sesión interactiva en el cluster "fisica", en la particion "cpu.cecc"; donde quiere ejecutar un trabajo llamado "jupyter" con 16CPU, 40Gb de RAM , un tiempo límite de 1:30horas(--time=DD-:HH:MM:SS) use:
|
|
salloc -Mfisica -pcpu.cecc --job-name=jupyter --time=01:00:00 --ntasks=16 --mem=40G |
a. Siempre puede verificar el estado en la cola de ejecucion con el comando slurm "
squeue"
b. Puede conectarse unicamente a los nodos de procesamiento donde corren sus trabajos con:
:
|
|
ssh -XC nodo_asignado-al_proceso |
Video: salloc-perseus-interactiva.mkv
3. Ejecute jupyter EN EL NODO DE EJECUCION ASIGNADO
a. cargue el modulo que contiene el software anaconda con:
|
|
module load envs/anaconda3 |
b. Active el ambiente jupyter, que se instaló en un directorio donde usted puede instalar los paquetes python que requiere con:
|
|
conda activate jupyterlab |
Video:jupyter-interactiva-conda-env.mkv
c. ejecute jupyter en el nodo de procesamiento, con el navegador google-chrome y el puerto 32769 con:
|
|
jupyter lab --port=32769 --ip=`hostname` |
Video: jupyter-interactiva-begin-end.mkv
4. Con jupyter corriendo desde el navegador puede instalar software así:
- Desde un notebook usando conda ejecute:
|
|
import sys conda install --yes --prefix {sys.prefix} numpy |
b. Desde un notebook con pip ejecute:
|
|
import sys !{sys.executable} -m pip install pandas |
:
5. Detenga el servidor jupyter desde el navegador(
Video: jupytershutdown-2024-11-22_14.11.09.mkv) o en la terminal use la combinación "ctrl +c" para que posteriormente le solicite la confirmacion de terminar.
6. Verifique que no deja corriendo ningún proceso en la cola de procesamiento de slurm.
Video: jupyter-interactiva.finish.queu.mkv