Procedimientos de Start Up y Troubleshooting del Nuevo Sistema VLT Software del Telescopio 2.2 m WFI


 

Consideraciones Generales:

El nuevo sistema de control del telescopio 2.2 está formado por las siguientes unidades:

  • w2p2tcs: Donde se realiza el control físico del telescopio, su desplazamiento y guiaje, así como del control de la cúpula. Exactamente igual al sistema anterior a la instalación del VLT software
  • w2p2ins: Donde se realiza el control del instrumento y del sistema de adquisición de imágenes, el Broker For Observation Blocks (BOB) y FIERA. Cuenta con una estación de dos pantallas para el control del instrumento (antiguo DAISY y RTD) y una unidad XTERM para el uso de BOB, además de una unidad DLT y una unidad DAT.
  • w2p2oh: Donde se corre el jp2pp u OT segun sea una noche de observación regular con Astronomo Visitante (VA) o una noche de Service Mode (SM).
  • w2p2dhs: Donde se reciben copias de las imágenes realizadas en la unidad INS. Este es el controlador de trafico de las imágenes. Desde aca se envian las imágenes al prototipo del Next Generation Archiving System (NGAS).
    NOTA: En la actualidad esta maquina corre en modo Background.
  • w2p2off: Estación off-line destinada al trabajo de reducción y análisis de imágenes por parte del observador. Posee el software científico necesario para esto, ademas de Gasgano, Xephem, dhsSubscriber, etc. Cuenta con una unidad DLT y una DAT.

Procedimiento de Start Up de los Equipos



Como parte en el proceso de Start Up se decidió hacer el Reboot una vez por semana de la maquina TCS e INS, las maquinas DHS y OFF deben bootearse sólo si se considera necesario. Para hacer esto debes hacer un login a la cuenta cuyo nombre es: operator y la password: reboot4us. Estas funcionan en todas la maquinas.

Nota 1: Antes de realizar un reboot se deben bajar todos los ambientes.

Nota 2: las máquinas w2p2tcs, w2p2ins y w2p2dhs poseen ambientes de trabajo individuales pero compartidos; si uno de estos ambientes cae, mensajes de error aparecerán en las otras máquinas. Sin embargo, el hecho de que cualquiera de estos ambientes sea detenido o reiniciado en cualquier momento no implica la necesidad de detener o reiniciar alguno de los otros.

  • En la unidad w2p2ins (no el xterm): Enviroment w2p2wfi

Una vez a la semana realizar el reboot:

Ingresar como:

User: operator
Password:

Realizar el reboot : cd /
                             /etc/shutdown -r

Ingresar a la sesión de la estación como el usuario w2p2wfi, cuyo login name es (wfi) y su password es (xxxxxx).

Si se rebooteo la w2p2ins revisar si el ambiente esta arriba: RtapPerfMon

- Levantar el ambiente

                                         vccEnvStart -e w2p2wfi

Nota: Si el se obtiene un mensaje FAILED (esto ocurre usualmente despues de un reboot), bajar el ambiente con el siguiente comando:

                                         vccEnvStop -e w2p2wfi

StartUp Inicio FIERA

  • wfinsShutDown (para bajar OS)
  • scanei & (ver si scanlinks estan habilitados, sino habilitar con boton ENABLE)
  • wfinsStopTCCDS (mata los procesos de wfovt)
  • wfinsStopSCCDS (mata los procesos de wfov)
  • wfinsStartSCCDS
  • wfinsStartTCCDS
  • wfinsStartUp
  • Tomar una imagen de Test en el OS, si hay problemas Rebootear FIERA y seguir procedimiento "Work Around":


                                              rlogin odt5 -l reboot

  •  
    • Hacer un reboot de FIERA con el comando normal
    • NEW FIERA BUG Work Around
    • rlogin odt5 -l fcdrun
    • su - vltmgr
    • vccEnvStart -e wodt5 (si el ambiente no parte, borrar archivo ".wodt5.lock")
    • wait 1 minutes
    • vccEnvStop -e wodt5
    • vccEnvStart -e wodt5
    • wait 1 minutes
    • exit (to exit from vltmgr account)
    • exit (to exit from fcdrun account from odt5
                                              StartUp Inicio FIERA
  • En algun worksapace de la INS correr el programa StateManager.
  •  
    • Reiniciar FIERA
  • En el xterm asociado a Bob, ingresar a w2p2ins como wfi (.xxxxxx); en la pantalla MIDAS, iniciar la sesión de MIDAS.
  • inmidas -p 11
  • create/display
  • create/graph
  • set/back socket,remote


En el xterm (xt22p2) correr BOB:

                                         bob &

En la unidad w2p2oh

SOLO en caso de necesitar un Reboot

User: operator
Password:

Realizar el reboot : cd /
                          /etc/shutdown -r

En la maquina w2p2oh existen 3 cuentas:

jp2pp
 
 

User    : visitor
Password:

OT
 
 

User    : service
Password:

User    : insmgr
Password:
 

En la unidad w2p2dhs: Enviroment w2p2dhs

SOLO en caso de necesitar un Reboot

User : operator
Password :

Realizar el Reboot: cd /
                           /etc/shutdown -r
 

Nota: En la actualidad esta maquina corre en modo background.
 

En la unidad w2p2tcs: Enviroment wtcs2pd User : operator

User : operator
Password :

Realizar el Reboot: cd /
                             /etc/shutdown -r

Ingresar a la sesión de la estación como el usuario "tcs", cuyo login name es (tcs) y su password es (xxxxxx).

Revisar si el ambiente esta arriba: RtapPerfMon

Es necesario levantar el ambiente wtcs2pd

                                         vccEnvStart -e wtcs2pd

Luego correr el script de inicialización:

                                         e2p2NewStartUp

Nota: Si usted debe bajar los procesos y TCS, usted debe usar el siguiente comando:

                                        e2p2NewShutDown
 

Una vez terminado, chequear que en el espacio de trabajo Six estén corriendo 7 procesos (prsAction, mswControl, prsControl, tifCA y dbControl) todos los cuales se inician con sus respectivos nombres, excepto tifCA, que utiliza el comando (tifControl -n tifCA). La inicialización de estos procesos toma algunos minutos mas de lo que estabamos acostumbrados, hay que esperar a que todos estos procesos estén corriendo antes de mover el telescopio.

Los pasos siguientes pueden ahorrarnos algunos minutos en caso de algun problema con el TCS.

Nota: Si por alguna razon alguna de las cuatro ventanas del autoguider (workspace 3) esta caida no es necesario matar la sesion del TCS, solo debes correr el siguiente script:

en /home/tcs/ e2p2NewStartAgWs

Nota: si por alguna razon alguna de la siete ventanas en el workspace 6 esta caida no es necesario matar la session del TCS, solo debes correr el siguiente script desde cualquier parte:

e2p2StartTcsIf

Nota: Para revisar la memoria del VME:

* rlogin vxte2p2

* i

* memShow


    w2p2off


Esta maquina tiene tres cuentas:

User    : operator
Password:

User    : astro
Password:

User    : e2p2ops
Password:

Ingresar como usuario astro y correr el programa:

                                             dataSubscriber &

El cual filtra el acceso a las imágenes sólo correspondientes al Astrónomo y a su Program ID.

Primero usted debe ir a Config, hacer click en Rename To Keyword, seleccionar Name On INS WS< /b>, luego Accept.

Ahora puede presionar "Start Raw" en la pantalla anterior.

Nota: si Ud. desea empezar el dhsSubscribe sin la pantalla de estado, es decir, funcionando sólo con la transferencia de datos en background, puede hacerlo digitando:

                                         dhsSubscribeControl start userRaw

Pero sólo llegarán las imágenes del día actual y con sus nombres originales.

Opciones para el comando dhsSuscribe anterior:

Por fecha: -backsince 2001-01-30 -backto 2001-02-15

Por nombre: -rename 2 -renamestring ORIGFILE

Para bajar el dhsSubscribe: dhsSubscribeControl stop userRaw

Desde la misma cuenta, Astro y en /data/raw/2001-04-10 usted correr el programa Gasgano, para esto usted debe tipear:

                                             gasgano

No olvidar: En la cuenta astro y en el directorio /home/astro/xephem correr el programa "xephem" enseguida ir a VIEW MENU y abrir el "sky view" luego en la ventana "xephem sky view" abrir el menu "telescope" habilitar el boton "enable telescope maker" y luego, desde otra local xterm, correr el programa "telpos".

Para Desplegar otro RTD en la maquina w2p2off usted debe conectarse a la maquina w2p2ins:

xhost +
rlogin w2p2ins -l wfi
rtd -display w2p2off:0.1 -camera wfov -attach 1 -rtd_geometry 1264x994 -panel_orient vertical

Para correr la seesion de jp2pp en la maquina off usted debe conectarse a la maquina w2p2dhs:

xhost + w2p2dhs
rlogin w2p2dhs -l visitor o service
export DISPLAY=w2p2off:0.1

jp2pp

Nota: Usar la cuenta visitor cuando el astronomo es Visitante y service cuando es Service Mode.
 
 

Troubleshooting




Nota 1: Si ocurre algún error es posible chequear el status de todos los ambientes y procesos presentes en el sistema; para hacerlo, se deben correr los script (para la unidad INS como para la DHS):
 

INS: RtapPerfMon y luego presionar: T

DHS: ccsPerfMon y luego presionar: T

Revisar que si el sistema está caído, no aparece ningún proceso corriendo (para salir, Control + C).
O bien, correr el proceso:

                                         ccsei & que es una interfaz que permite, entre otras cosas, chequear los ambientes, detenerlos o iniciarlos (además posee información de ayuda de los comandos y otras aplicaciones), presionar el botón:                      ccsEnvironment Setup


Nota 2: Antes de subir un ambiente, bajar los procesos que estén corriendo, luego bajar el ambiente (ccsEnvStop), y, luego de haberlo subido (ccsEnvStart), levantar de nuevo los procesos.
 

  • Si se cae el ambiente del DHS

Síntoma: mensaje de error en BOB "Pérdida de comunicación con el OH (Observation Handling)"

Esto significa que probablemente se cayó el proceso qsemu (chequear con ccsPerfMon), el cual es necesario para el vínculo entre jp2pp y BOB)

Solución: levantar el ambiente DHS (ver StartUp del DHS), luego levantar jp2pp.
 
 

  • Pérdida de comunicación con FIERA
    • Síntoma:

      Esto significa que probablemente se cayó alguno de los procesos en el INS (muy probablemente dcswsControl).

      Solución: se podría chequear cual de los procesos en el INS está caído y recuperarlo, pero es más sano (y no mucho más largo) hacer un wfinsShutDown y wfinsStartUp; si el problema persiste, es posible que Fiera este en un status erróneo, se soluciona bajando el ambiente (wfinsShutDown y luego vccEnvStop -e w2p2wfi) y reiniciándola con fcdStartWFOV.sh. Una vez que Fiera se haya reiniciado, levantar el ambiente: vccEnvStart -e w2p2wfi a continuación reiniciar todo con el comando wfinsStartUp.
       
       

      Si nuestro conocido problema del TCS aparece, cuando se queda pegado y no se puede Monitorear o hacer u n Retrieve Field, en vez de hacer un wfinsShutDown y luego wfinsStartUp, hacer lo siguiente:

      Ir a la tercera pantalla (gris) en el OS, el nombre es "DAISY + Communication Lite" y hacer un Ctrl + c. Lo que sucede es que este proceso se queda esperando un reply (waiting for reply) que nunca llega desde el tcs, con el Ctrl c se restablece la comunicacion, esto toma solo un par de segundos.
       

      Caída del sistema cuando se hace Abort en una secuencia de Foco

      Esto se debe a una inestabilidad del sistema cuando existen muchos Pause - Continue en los templates que se corren en una OB en el BOB.

      Solución: En un local xterm, ingresar la instrucción

      msgSend w2p2wfi fcdconCI_wfov CONT "" 0

      la cual es una orden de "continue" directa a Fiera, para que termine la secuencia de Foco.
       
       

    • Cuando se hace Abort en una OB, hacerlo también en el display del INS (OSGUI, ex-Daisy)

    • Problemas con los archivos (imágenes) en las cintas o en las máquinas

    •  
       
       

      Solución: En la INS, con el comando detdata se obtiene el Path donde están ubicados los archivos; si las imágenes tienen las extensiones

      wfi77.fits.det
      y/o wfi77.fits.ins
      y/o wfi77.fits.tcs

      es que no se han formado correctamente.

      En la DHS los archivos están en el Path (/data/raw/*fecha*); en la DHS se puede correr gasgano, el que permite manipular y chequear la transferencia de archivos, incluso mirar la imagen, para lo que hay que levantar una pantalla Rtd.
       
       

    • El ambiente no se Inicia adecuadamente

    •  
       
       

      Síntoma: El script de Inicio del sistema se queda "pegado" y no se realiza.

      Esto significa que probablemente la última vez que se utilizó no se detuvo correctamente, generando un archivo (.lock) en el directorio donde funciona el comando.

      Solución: borre el archivo .lock, los directorios son:

      TCS: /vltdata/ENVIRONMENTS/wtcs2pd/

      WFI: /vltdata/ENVIRONMENTS/w2p2wfi/

      DHS: /vltdata/ENVIRONMENTS/w2p2dhs/
       
       

    • Si el ambiente vcsolac no esta levantado, realizar el siguiente procedimiento:
    • cleanup-vcsolac
    • start-vcsolac
    • volac &
    • El ambiente pco debe esta arriba antes de partir con midas.

    Chequéelo con psg pco. Si no lo está, levantarlo con: pco & en una local xterm.

    • Si durante la noche el ambiente w2p2wfi cae o presenta problemas, detenerlo y reiniciarlo con los comandos:

    •  
       
       

      vccEnvStop -e w2p2wfi

      vccEnvStart -e w2p2wfi

      O bien usar vccEnv y desde el panel seleccionar wfi
       
       

    • Si necesita matar la sesión de midas:

    •  
       
       

      En una local xterm:

      $ msgSend w2p2wfi pco FORWMSG "midas,11,w2p2ins,clear/back;exit"
       
       

    • En caso de tener problemas con la rueda de filtros:

    •  
       
       

      Apagar y encender el controlador (OFF/ON) SOLO con el telescopio en el ZENITH.
       
       

    • Problemas con el Auto Focusing del telescopio

    •  
       
       

      Síntoma: El telescopio no puede alcanzar el valor de Foco, corregido de acuerdo a la variación de la temperatura del Serrurier en el TCS y esto provoca que los OBs no puedan ser ejecutados correctamente.

      Solución: Esto puede deberse a 3 razones: que físicamente el Telescopio tiene problemas para mover el espejo secundario y alcanzar el valor de foco, que el valor de la temperatura del Serrurier, recibido por el TCS, es erróneo, corrupto, o bien demasiado diferente al último registrado por Bob.

      En el primero de estos casos, la única solución posible es tratar de desbloquear el secundario haciendo un reset electrónico del VME en la sala de computadores (recuerde bajar los procesos del TCS antes de hacer esto).

      En el segundo caso, si el TCS tiene problemas para leer el estado del serrurier, verifique que sólo es esa variable la que presenta problemas (no cuente ni los estados de los windscreen ni el open-close del domo, que históricamente presentan problemas pero no afectan el trabajo); chequee si el TCS funciona correctamente. Si pierde estados de variables, se congelan los relojes o se estanca, es posible que las tarjetas electrónicas de control estén sometidas a altas temperaturas en la sala de control. Esto es grave y debe dejar de operar hasta que no disminuya la temperatura de la sala de computadores, pues las tarjetas podrían resultar definitivamente dañadas. Si sólo es el estado de la temperatura del serrurier el érroneo (por alguna falla del sensor, por ej.) puede optar a trabajar sin el Auto Focusing. Para hacerlo, debe dirigirse al directorio /vlt/insroot/SYSTEM/COMMON/SEQUENCES y editar el archivo focusMode.state, el cual es una simple línea del tipo "T 23500 12.4 BB#XX/X_XXXX", donde la T corresponde al estado "True" del autofocusing, cambiarla por una F.

      Del mismo modo, si desea actualizar el último valor de Foco, o la última temperatura recordada por Bob, el segundo y tercer valor de esta línea son, respectivamente, esos valores.
       
       

    • Para Matar el dhsSubscribe

    psg dhsSubscribe -w2p2off -RAW:w2p2off:iw2p2dhs.2001-02-18 id, pid kill -9 (primero matar el Watch-Dog y luego el dhsSubscribe)

    • Problemas con el Differential Guiding

    Si el guiaje diferencial se queda colgado (la caja en el RTD se queda pegada) existe un workaround para salir del paso, en el prompt del VME escribir:

    semGive semMutex

    La caja del RTD debe empezar a moverse de nuevo y en el xterm "agwsdbs" en el w2p2tcs deberia aparecer con cierta periocidad los siguiente:

    "SETUP..."

    Hay que intentar este procedimiento varias veces antes de rebootear el VME.
     

    Como restaurar el RTD de la INS si se queda pegado

    Primero usted debera matar el display antiguo:

    >ps rtd

    Aparece el proceso:

    nproc rtdimage_wish /vlt/FEB2000/ccs/bin/rtd -camera wfov -display w2p2ins:0.1

    >kill -9 nproc

    Correrlo nuevamente:

    >rtd -display w2p2ins:0.1 -camera wfov -attach 1 -rtd_geometry 1264x994
     

    Como respaldar una nueva configuracion de los filtros del WFI.

    >dbBackup -c "@w2p2wfi:icsws:" -n filter -o *filename*

    >dbRestore -f *filename*

    NOTA: Linda Schmidtobreick debe ser notificadda de cualquier cambio.

    Se ha implementado un metodo de bookkeeping (web based) llamado "WFI Filter Configuration Log Of Changes", se encuentra en esta pagina:

    /sci/facilities/lasilla/instruments/wfi//technical/filters

    Notas:
     

    • La maquina DHS esta acumulando demasiados datos. En la medida que borremos datos en la maquina INS, se debe hacer lo mismo en la DHS tan pronto que los back ups estén listos. Normalmente estamos dejando dos noches en la INS y las mismas noches en la DHS.Si los Astrónomos visitantes están transfiriendo datos a la maquina Offline, entonces también tenemos que aplicar la misma política de eliminación sistemática de datos.
    • Hemos iniciado el uso del sistema de extracción de aire de la cúpula, este se basa en la utilización del ventilador gigante ubicado al final del túnel detraes de la puerta estilo submarino amarillo al frente de la puerta de entrada. Este ventilador se debe encender después de tomados los Flats, y se debe apagar al final de la noche. El switch esta ubicado en el panel al lado del refrigerador en la habitación con la puerta deslizante.
    • En relación a los backups diarios, es recomendable anotar en la etiqueta el tipo de unidad en la cual fue hecho este respaldo (DLT 7000 o DLT 4000). Esto es importante a la hora de recuperar archivos, puesto que la DLT 4000 no lee cintas grabadas en DLT 7000 (se corrompe la unidad).



     
     

    FEROS Instrument

    StartUp

    Nota 1: Si se desea realizar un reboot de la máquina w2p2tcs, SE DEBE DETENER EL AMBIENTE wferos ANTES DE HACERLO. Y luego de hecho, se debe re comenzar el ambiente.

    Nota 2: El usuario que corre el Software de control del instrumento es feros. El Sotware de la workstation (WS) del CCD Técnico (TCCD) corre bajo el ambiente wferos, en el host w2p2tcs. Existen dos procesos que debería estar corriendo mientras se esté utilizando el instrumento: ccditWS_ccdFer (que realiza la transferencia de imágenes entre la WorkStation y los ambientes de la LCU) y ccdconCI_ccdFer (envía los comandosentre la LCU y los ambienetes de la WorkStation).

    Nota 3: El Software de la LCU del TCCD corre en el host lffhv. Existen numerosos procesos que deberían estar corriendo mientras se usa el sistema, empezando con la extensión ccd, por ejemplo: ccdcon_ccdFer, ccdip_ccdFer, ccdit_...

    Nota 4: Adicionalmente, existe un proceso (e2p2fdbControl) corriendo en el ambiente wtcs2pd, el cual envía información de los FITS headers de FEROS al instrumento. Este proceso se inicia en el comando e2p2NewStartUp.

    Para poder comenzar los procesos de Feros, es necesario que se cumpla:

    - El ambiente wtcs2pd de la máquina w2p2tcs debe estar corriendo.
    - El StartUp del TCS debe haber sido ejecutado (e2p2NewStartUp)
    - El ambiente de la WS de Feros (wferos) debe estar funcionando con los procesos mencionados en las notas anteriores.
    - El ambiente de la LCU (lffhv) debe estar funcionando con los procesos mencionados en las notas anteriores.
     

    StartUp normal del telescopio y del TCS.

     
    1. Detener el ambiente wferos (Botón izquierdo mouse w2p2tcs>User Menu>Feros>RtapShutdown. Script: vccEnvStop -e wferos).
    2. Comenzar el ambiente wferos (Botón izquierdo mouse w2p2tcs>User Menu>Feros>RtapStart. Script:vccEnvStart -e wferos).
    3. Hacer un reboot de la LCU (Botón izquierdo mouse w2p2tcs>User Menu>Feros>Reboot Feros TCCD LCU. Manual: Ingrese como lffhv y escriba "reboot").
    4. Comenzar el software de control de la TCCD (Botón izquierdo mouse w2p2tcs>User Menu>Feros>Start Feros TCCD. Script: ferosStartTCCDs).
    5. Levantar el RTD de Feros (Botón izquierdo mouse w2p2tcs>User Menu>Feros>Start Feros TCCD RTD. Script: ferosStartTCCDRtd).
    6. Anexar la cámara al Rtd (Attach Camera).
    7. Comenzar el Panel de Control del CCD (Botón izquierdo mouse w2p2tcs>User Menu>Feros>Start Feros TCCD Control. Script: ferosStartTCCDControl).

    Troubleshooting


    Si hay problemas con la cámara, el status en el panel de control muestra UNKNOW u OFF, o bien algo realmente extraño está ocurriendo.

    Apague y encienda la cámara, con los botones Shutdown y Startup, en ese orden, en el panel de control. El status de la cámara debería pasar a ONLINE.

    Comience la interfaz de Ingeniería del CCD (desde el menú Maintenance del Panel de Control) y realice la siguiente secuencia:

    Stop CCD Scan
    Clean CCD Scan
    Conf. CCD Scan
    Start CCD Scan

    Se dará cuenta que no puede apretar cada botón hasta que el anterior haya sido ejecutado y esté finalizado.

    Nota: Por favor, NO UTILICE "CHANGE CONFIG". La persona que puede cambiar la configuración debe poseer profundos conocimientos en los CCD Técnicos (como Peter Sinclair o Aldo Pizarro). El botón "Reboot Lcu"no funciona.

    Si nada de lo anterior funciona, haga un reboot de la LCU y comience el StartUp desde el paso 1.