El formato de los archivos de datos xBase

En una época, ahora más o menos remota, los llamados sistemas xBase de gestión de bases de datos (dBase, Foxbase, FoxPro, Clipper, etc.) dominaron la programación de sistemas de bases de datos en las PC, y eso siguió siendo así a lo largo de muchos años.

En realidad los mencionados sistemas no eran la gran cosa, es cierto, o por lo menos en cuanto a las herramientas de desarrollo utilizadas, como se sabe bastante primitivas si las comparamos con algunas de sus contrapartidas más modernas; en eso estamos de acuerdo, sin embargo, a pesar de lo dicho, sin duda alguna los sistemas como dBase fueron capaces de resolver muchos problemas comunes en su era, cuando reinaba el MSDOS en las microcomputadoras del mundo, y no existían muchas más opciones de todos modos.

Nota: El gestor de base de datos dBase II se comenzó a utilizar en la época cuando era común el sistema operativo CP/M de Digital Research en las microcomputadoras de 8 bits, en una época cuando MSDOS no soñaba con nacer todavía.

En todo caso, a pesar de su evidente antigüedad, la forma de guardar los datos utilizada por todos los sistemas mencionados de la familia xBase, o sea, su formato de archivo por lo común con la extensión ".dbf", se sigue usando a menudo, por un lado porque ahora existen sistemas herederos de los originales, y por otro debido a la simplicidad de diseño del mencionado formato interno de los archivos, la cual no sólo hace posible su interpretación por personas sin demasiada experiencia en la programación de computadoras, sino también los convierte en una solución ideal en muchos desarrollos pequeños o limitados.

En particular podemos encontrarnos con archivos propios de los sistemas comentados en muchos Sistemas de Información Geográfica y otros afines.

En cuanto a los sistemas herederos más modernos se pueden citar sistemas gestores de bases de datos mantenidos por empresas o proveedores como XBase++ de Alaska Software y FlagShip; y sería un crimen no mencionar como entre ellos existen también proyectos gratuitos (con licencia GPL) como Harbor y xHarbour, si mal no recuerdo herederos de Clipper; por su parte, en la plataforma .Net de Microsoft se dispone de XSharp, una implementación de un lenguaje xBase para los entornos Visual Studio 2015, 2017 y 2019.

Por todo esto, en este texto vamos a estudiar cómo era (o es) el formato interno de los archivos donde se guardan los datos en los sistemas xBase, como hemos dicho archivos con la extensión ".dbf" en donde está contenida una tabla de datos, puesto en dichos sistemas una base de datos se conforma con una colección de archivos con la mencionada extensión situados en una carpeta.

Por lo demás, en adición a lo comentado también compartiré una implementación de una clase de RapidQ (una implementación de BASIC con cierta limitada orientación a objetos desarrollada por William Yu) por medio de la cual podremos manipular un archivo ".dbf" por nuestra cuenta sin necesidad de otras bibliotecas de terceros; en este caso en particular la clase se hizo pensando en el formato usado en Foxbase, puesto como podremos ver a lo largo de este texto explicativo, entre las muchas versiones y variantes de los sistemas de la familia xBase se presentaron varias diferencias más o menos significativas, casi siempre en cuanto a los tipos de datos soportados.

Nota: La clase para manipular archivos ".dbf" de Foxbase con RapidQ no fue implementada del todo como me hubiera gustado hacerlo, debido en lo fundamental a las características del lenguaje de programación utilizado y a sus limitaciones, pero por lo menos sirve como demostración de la manera de manipular archivos DBF por nuestra cuenta.

En realidad las diferencias entre versiones o productos fueron más grandes cuando se trataba de los archivos índice o los archivos memo, o debido a características propias sólo de un determinado producto, sin embargo, nosotros no trataremos con dichos archivos índice o memo a pesar de ser los índices de uso obligatorio en una base de datos real para poder acelerar las operaciones cuando se buscan datos en las tablas, en especial si estas contienen muchos registros.

En fin, para comenzar consideraré todos conocen el significado de términos básicos propios del mundo de las bases de datos relacionales como podrían ser “registro” o “campo”, dado cada cual podrá preguntar si no es ese el caso.

Por lo general un archivo propio de xBase consiste, como pasa con muchos otros formatos en el mundo de la informática, en una cabecera en donde se guarda información importante a la hora de interpretar el resto de la estructura del archivo; y a continuación de la cabecera se encuentran los datos de la tabla propiamente dichos en un formato ASCII, hasta llegar al final del archivo en donde, opcionalmente, nos podemos encontrar con el código 0x1A para indicárnoslo.

Nota: Los números con un “0x” delante están en un sistema de numeración hexadecimal; éste es el símbolo comúnmente usado en C para denotar los números en dicha base numérica.

La Tabla 1 mostrada a continuación lista los componentes de la cabecera de uno de estos archivos ".dbf" (la parte final de la cabecera puede variar mucho entre versiones):


En la Tabla 1 mostrada anteriormente, los símbolos (FS, D3, D4, D5, Fb, Fp, CL) denotan uno de los productos más específicos de la familia xBase como sigue:

FS = FlagShip D3 = dBase III+

Fb = Foxbase D4 = dBase IV

Fp = FoxPro D5 = dBase V

CL = Clipper

Nota: En donde no se especifica uno de estos símbolos se supone ese valor en particular dentro de la cabecera será interpretado igual con independencia del sistema xBase involucrado.

Por lo demás, en la tabla también podemos observar las inevitables diferencias, no tanto en cuanto a la estructura propiamente dicha como en cuanto a los valores almacenados en las distintas partes de la cabecera de un archivo “.dbf”, producto esto como se comentó de la variedad de entornos de desarrollo donde se los utiliza para almacenar la información, por las respectivas necesidades particulares de cada uno de ellos para poder implementar sus propias características o extensiones.

Por último, en la posición 32 dentro de la cabecera del ".dbf" se encuentra situado un arreglo de descriptores de campo cuyo tamaño, como era de esperarse, está definido por la cantidad de los mismos existentes en una tabla en particular, y por tanto no podemos conocer ese datos antes de toparnos con una tabla real, incluso si se sabe cada uno de dichos descriptores está constituido por 32 bytes de datos.

La estructura de uno de dichos descriptores de campos podemos verla representada en la Tabla 2 mostrada a continuación:


En la Tabla 2 mostrada arriba también nos encontramos con las mismas diferencias debidas a los variados entornos de desarrollo de la familia xBase y a sus necesidades o características propias. En particular, el tipo de campo denotado por uno de los caracteres ASCII “C, D, F, N, L, M, V, P, B, G, 2, 4, 8”, es uno de los valores más afectados por esto, puesto como mencioné en un principio, se pueden encontrar tipos de datos soportados por un entorno y no soportados por otro. En este texto vamos a comentar todos los tipos de datos, no obstante, vamos a implementar nada más los tipos de datos más comunes, para no extendernos demasiado, puesto me sería imposible tratar todas las características.

En la Tabla 3 podemos ver el significado de cada símbolo usado para denotar un tipo de datos de un campo de una base de datos de la familia xBase:


En nuestro caso, de todos los tipos de datos mostrados en la Tabla 3, nada más implementé los correspondientes a los símbolos C, D, N, y L como lo hace Foxbase, puesto son los más comunes y los soportan todos los productos xBase (además de los mencionados Foxbase sólo soporta los campos memo, y como manifesté antes, esos no los trataremos porque no estamos desarrollando un sistema real).

Por último, detrás de la cabecera del archivo “.dbf” comentada hasta este momento, se encuentran situados los registros almacenados dentro de la base de datos o la tabla representada por el mismo, y en este caso cada uno de ellos consiste en una cadena ASCII del largo especificado por la suma de la cantidad de bytes de cada campo existente por separado, más un carácter extra.

Nota: El número para representar la longitud de un registro se guarda en la cabecera del DBF en la posición descrita como el tamaño en bytes del registro.

En particular, la cadena comentada es iniciada con un carácter asterisco (“*”) si ese registro fue eliminado en un momento previo, o con un carácter espacio, si el registro continúa activo.

Nota: En un archivo “.dbf” los registros eliminados en realidad no desaparecen, y por eso pueden ser recuperados con una instrucción Recall propia de dBase, dado sólo se marcan con un asterisco al inicio (código de carácter 0x2A) hasta una llamada a Pack sobre dicho archivo de base de datos, momento cuando todos los registros marcados como eliminados si son removidos de la tabla sin posibilidad de ser recuperados de nuevo.

Es todo, he descrito por completo el formato de un archivo “.dbf” y ahora disponemos de toda la información necesaria para implementar las subrutinas necesarias para poder manipularlo como mismo lo haría un gestor de bases de datos (o casi); como pueden ver, se trata de un formato para una base de datos relacional bastante simple en comparación con otros, como les había comentado en un principio, y por eso no deberemos encontrarnos con grandes problemas; y si a primera vista esto les pareció complicado, no se preocupen, su impresión se debe a haberse descrito todas las características soportadas por los variados entornos, y de este punto en adelante nos será más fácil puesto como he dicho nos centraremos en un archivo propio de Foxbase.

Por supuesto, la información mostrada en este texto fue tomada de distintas fuentes, y por eso en caso de encontrar un error, sería bueno lo comentaran para corregirlo.

Por otro lado, si conocen un sitio web donde se describan más formatos internos de archivos me gustaría pudieran comentarlo; en un época existió uno bastante bueno de nombre wotsit o algo parecido, sin embargo, por lo visto terminó desapareciendo.

Los interesados en ver la implementación práctica de lo comentado pueden hacerlo descargando el código de la clase de RapidQ con el enlace (es necesario Internet): DBFExample.zip.

En este caso dispondrán de una interfaz gráfica para mostrar el contenido de un archivo ".dbf", y también de un par de interfaces de comando destinadas a ver otros datos internos del mismo (los códigos fuente están incluidos).

En todo caso, cada cual puede utilizar el lenguaje de programación de su preferencia en caso de necesitar manipular un archivo DBF por su cuenta, porque para eso sólo necesita la información ofrecida en este texto y un poco de esfuerzo.

Por cierto, por lo visto me olvidé de poner este comentario después de publicar lo del otro programa, y creo eso completa un poco más lo tratado en este texto sobre el formato interno de los archivos DBF.

En caso de interesarle a alguien, en la dirección https://cubansolutions.cubava.cu/2023/01/03/accounts/ hay un sencillo programa para llevar las cuentas (gastos e ingresos) hecho con RapidQ usando la misma clase elaborada para este artículo.

En esta ocasión la clase tiene algunos arreglos y agregados, porque la ofrecida para la descarga en este texto no estaba tan completa y tenía algunos errores menores y omisiones, aun cuando es cierto si se viene a ver eso no afectaba en casi nada la exposición sobre el formato del archivo.

En fin, el código fuente del programa conteniendo la clase modificada está también disponible para la descarga, y como en dicho programa se la usa en un proceso más o menos real como lo es un programa para llevar los gastos y los ingresos de una forma sencilla, por eso creo podría resultar útil para enteder mejor todo eso del formato y su funcionamiento interno, y así es posible sirva como complemento a lo tratado antes.