galirema-notas

Importación de datos del periodo 1995-2007

Notas genéricas

• Los documentos base estan en formato html porlo que facilita el proceso de importación a archivo markdowm con una insttrucción pandoc.

• Los planes no están en en una tabla de dos dimensiones (Plan\Caracteristicas del plan) sino en una lista secuencial ( plan -> caracteristicas del plan). Y no todos los tipos de plan (ariculos de la orden tienen las mismas caracteristicas ni en el mismo orden), lo que las hace complicado el pretender mecanizar su transformación al formato csv de importación.

• la separación de los campos en el formato CSV es el símbolo tuberia pues la coma la utilizo para separar los listados de especies, entidades, etc… que hay en algunos campos.

Esquema del proceso

1. Contenedor temporal de los planes:
   • Creo un archivo markdowm con toda la lista de planes del que ire restando la lista de planes que segun los vaya tratando.
   • Este archivo se llama (indataaaa.md) donde aaaa es el año al que corresponden estos datos.
   • Al final del proceso este archivo estará vacio o solo tendrá los planes del último tipo.
   • Al inicio de cada plan de explotación colocamos el entero que le corresponderá con el ide de cada plan que el programa de importación dará automáticamente
2. Archivo de tipo de plan para la transformación de la lista:
   • Creo un archivo md por cada tipo de plan denominado (indataaaaA.md) la letra mayúscula corresponde a la inicial de código de tipo de plan A, B, C, D, E, F, G, H, I, J, (el cuadro).
   • En las primeras lineas de cada archivo están el titulo de la orden, la cabecera de los nombres de los campos a importar a la tabla, el enunciado del articulo de los tipos de plan que vamos a importar.
   • Después de título de cada plan repito el modelo csv para ir sustituyendo los datos de cada plan en el campo que le corresponde para no perderme. La cabecera de campos es:
     "entidad"|"modalidade"|"especiesPlan"|"zonaTraballo"|"diasMax"|"epocaTraballo"|"puntosControl"|"tipoCode"|"conxunto"
   • Patrones de sustitución empleados:
     tipoCode->AAUT ou o código adecuado para cada caso
     conxunto->F nos plans individuais.
3. Archivo csv de cada tipo de plan:
   • Las lineas con formato csv las copio a un archivo denominado (indataaaaAAUT.md)
   • Después sustituyo el nombre de las especies por el “código-alfa3” de la FAO separado con comas
   • Se revisa que los nombres de las entidades para que sean los nombres adecuados y no cualquiera de las variantes que complican el tratamiento automático de los datos.
   • Revisar que los campos cuyos contenido es un listado tengan el formato csv correcto.
4. Tablas del periodo 1995-2007:

   CREATE TABLE "pexma2007" ("idPlanAnual" INTEGER PRIMARY KEY  AUTOINCREMENT  NOT NULL , "entidad" CHAR(100), "modalidade" CHAR(50), "especiesPlan" CHAR(100), "zonaTraballo" TEXT, "diasMax" TEXT, "epocaTraballo" TEXT, "puntosControl" TEXT, "tipoCode" CHAR(4), "conxunto" BOOL, "urlFicha" TEXT, "id_plan_explotacion" INTEGER, "BMSigremar" TEXT, "idzonatra" INTEGER, "anualidad" INTEGER DEFAULT 2007, "numesp" INTEGER, "codeMod" CHAR(1), "costa" CHAR(2))
   

   • Como no hay acceso a los planes de explotación de este periodo el campo "BMSigremar" tendra un asterisco para indicar que corresponde al contenido de "zonaTraballo". Posteriormente cuando se confirme a la correspondencia con los codigos de zona del Sigremar serán sustituidos por ellos.

Planes tratados

• Listado de planes generales de explotación del periodo 1995a 2007, migrados a la base de datos muestreos.sqlite

  1. Plan general 2007
  2. Plan general 2006
  3. Plan general 2005
  4. Plan general 2004
  5. Plan general 2003
  6. Plan general 2002
  7. Plan general 2001
  8. Plan general 2000

• Volver a indice de procesos