Sistemas de navegação (1960)

À medida que os computadores ganharam velocidade e capacidade, surgiram sistemas de bancos de dados de uso geral; Em meados da década de 1960, alguns sistemas estavam em uso. Surgiu o interesse em obter um padrão e Charles Bachman – autor de um dos primeiros produtos, o Integrated Data Store (IDS) – fundou o Database Task Group dentro do CODASYL, grupo responsável pela criação e padronização do COBOL. Em 1971 publicaram seu padrão, que ficou conhecido como "abordagem CODASYL", e logo surgiram alguns produtos baseados nesta linha.

A estratégia da CODASYL baseou-se na navegação manual através de um conjunto de dados interligados em rede. Quando o banco de dados foi iniciado, o programa retornou um link para o primeiro registro do banco de dados, que por sua vez continha ponteiros para outros dados. Para encontrar um registro específico, o programador tinha que seguir ponteiros até chegar ao registro desejado.

Para responder perguntas simples como “encontrar todas as pessoas no Japão”, o programa teve que analisar todos os dados para escolher os registros corretos. Não existiam conceitos de “busca” ou “encontrar”, algo que hoje seria inaceitável, mas na época em que os dados eram armazenados em fita não era viável colocá-los em prática.

Foram encontradas soluções para muitos destes problemas. O fabricante Prime criou um SGBD compatível com CODASYL baseado em árvores binárias que abreviavam a navegação de registro para registro, fornecendo caminhos de acesso alternativos. Ele também forneceu uma linguagem de consulta muito clara. Na verdade, não há razão para não poder aplicar conceitos de normalização a bancos de dados CODASYL, mas, em última análise, o CODASYL era muito complexo e exigia muito esforço e prática para produzir uma aplicação útil.

A IBM também tinha seu próprio SGBD em 1968, conhecido como IMS "IMS (IBM)"). Foi um software desenvolvido para o programa Apollo no System/360. O IMS tinha conceitos semelhantes ao CODASYL, mas usava uma hierarquia estrita de ordenação de dados, em comparação com a estrutura de rede do CODASYL. Ambos os conceitos foram posteriormente incluídos no conceito de bases de dados de navegação devido à forma como os dados eram acessados. Na verdade, Bachman recebeu o Prêmio Turing em 1973 por sua apresentação O programador como navegador.[2]​.

Sistemas Relacionais (1970)

Edgar Codd trabalhava na IBM, num daqueles escritórios periféricos que se dedicava principalmente ao desenvolvimento de discos rígidos. Fiquei insatisfeito com o modelo de navegação CODASYL, principalmente pela falta de operação de busca. Em 1970 ele escreveu alguns artigos nos quais delineava uma nova abordagem que culminou no documento "Um Modelo Relacional de Dados para Grandes Bancos de Dados Compartilhados".[3]​.

Neste artigo ele descobriu um novo sistema para armazenar e trabalhar com grandes bancos de dados. Em vez de armazenar registros de tipo arbitrário em uma lista encadeada como no CODASYL, a ideia de Codd era usar uma "tabela" de registros de tamanho fixo. Uma lista encadeada tem muito pouca eficiência ao armazenar dados esparsos, onde alguns dados de um registro podem ser deixados em branco. O modelo relacional resolve isso dividindo os dados em uma série de tabelas normalizadas – ou relacionamentos – nas quais elementos opcionais foram extraídos da tabela principal para que ocupem espaço apenas se necessário. Neste modelo relacional, os registros relacionados são vinculados a uma “chave”.

Um uso comum de bancos de dados pode manter um catálogo de endereços de usuários, seus nomes, informações de login, endereço e número de telefone. Na solução de navegação, todos esses dados estariam localizados em um único registro e os recursos não utilizados simplesmente não estariam no banco de dados. Na solução relacional, os dados seriam normalizados em uma tabela de usuários, uma tabela de telefone e uma tabela de endereços, nas quais seriam adicionados registros caso tivéssemos que incorporar telefone e endereço.

Reconciliar todas as informações é a chave deste sistema. No modelo relacional, uma parte da informação é utilizada como chave, identificando de forma única um registro específico. Quando são coletadas informações sobre um usuário, as informações nas tabelas opcionais serão acessadas por meio de pesquisa por meio dessa chave. Por exemplo, se o nome de usuário for exclusivo, o endereço e o número de telefone desse usuário serão salvos com o nome de usuário como senha. A compilação dessas informações em um único registro é algo para o qual as linguagens tradicionais não foram projetadas.

Assim como a abordagem de navegação exige programas que façam loop para coletar registros, a abordagem relacional também os exigirá. A solução de Codd para os loops necessários é baseada em uma linguagem orientada a conjuntos, uma sugestão que mais tarde se cristalizaria no onipresente SQL. Ele propôs a utilização de um ramo da álgebra chamado cálculo de tuplas, e demonstrou que com ele todas as operações típicas poderiam ser realizadas em um banco de dados, além de extrair conjuntos de dados de forma simples.

O artigo de Codd caiu nas mãos de duas pessoas em Berkeley, Eugene Wong e Michael Stonebraker. Eles iniciaram um projeto chamado INGRES com recursos alocados para um projeto de banco de dados geográfico programado pelos alunos. A partir de 1973, o INGRES produziu suas primeiras versões de teste que ficaram prontas para uso geral em 1979. O INGRES era muito semelhante ao System R da IBM em vários aspectos, incluindo uma linguagem para acesso a dados, conhecida como QUEL. Com o tempo, o INGRES adotou o padrão SQL.

A IBM realizou uma implementação de teste do modelo relacional - PRTV - e uma de produção - Business System 12 - ambos descontinuados. Honeywell escreveu MRDS para Multics, e duas novas implementações também aparecem: Alphora Dataphor") e Rel. A maioria das outras implementações dos chamados SGBDs relacionais são, na verdade, SGBDs SQL.

Na década de 1970, a Universidade de Michigan iniciou o desenvolvimento do MICRO Information Management System baseado no modelo de dados teórico de D. L. Childs. Micro foi usado para gerenciar grandes quantidades de dados no Departamento do Trabalho do governo dos EUA. Ele rodava em mainframe usando Michigan Terminal System. Esteve em produção até 1998.

Sistemas SQL (final da década de 1970)

A IBM começou a trabalhar no início da década de 1970 em um protótipo vagamente baseado nos conceitos de Codd, chamando-o de System R. A primeira versão ficou pronta em 1974 ou 1975, e começou o trabalho em sistemas multitabelas, nos quais os dados podiam ser desagregados para que todas as informações em um registro (algumas das quais são opcionais) não precisassem ser armazenadas em um único grande pedaço. Versões multiusuário subsequentes foram testadas por usuários em 1978 e 1979, época em que uma linguagem SQL já havia sido padronizada. As ideias de Codd revelaram-se operacionais e superiores às do CODASYL, lançando a IBM no desenvolvimento de uma verdadeira versão de produção do System R, conhecida como SQL/DS, e posteriormente como Banco de Dados 2 (DB2).

Muitos dos técnicos do INGRES estavam certos do sucesso comercial do sistema, e formaram suas próprias empresas para comercializar o desenvolvimento mas com interface SQL. Sybase, Informix, NonStop SQL e o próprio INGRES foram vendidos como derivados do INGRES original na década de 1980. Até o SQL Server da Microsoft é baseado em Sybase e, portanto, em INGRES. Apenas Larry Ellison – o fundador da Oracle – iniciou um novo caminho baseado no artigo da IBM sobre o System R, e ultrapassou a IBM ao lançar sua primeira versão em 1978.

Stonebraker aplicou as lições do INGRES ao desenvolvimento de um novo banco de dados – Postgres – agora conhecido como PostgreSQL. O PostgreSQL é usado para muitos aplicativos críticos (os registros de domínio .org e .info o utilizam para armazenamento primário, bem como para grandes empresas e instituições financeiras).

Na Suécia, o artigo de Codd gerou o banco de dados Mimer SQL[4]​ na Universidade de Uppsala. Em 1984 este projeto foi consolidado em uma empresa independente. No início da década de 1980, Mimer introduziu o gerenciamento de transações para fornecer robustez às aplicações, uma ideia que foi adotada em muitos outros SGBDs.

Sistemas orientados a objetos (1980)

Durante a década de 1980, o surgimento da programação orientada a objetos influenciou a forma como as informações nos bancos de dados eram tratadas. Programadores e designers começaram a tratar os dados dos bancos de dados como objetos. Isso significa que se os dados de uma pessoa estiverem no banco de dados, os atributos da pessoa, como endereço, número de telefone e idade, serão considerados pertencentes à pessoa e não aos dados estrangeiros. Isso permite que relacionamentos sejam estabelecidos entre objetos e atributos, em vez de entre campos individuais.

Outro grande foco de atenção durante a década foi o aumento da velocidade e confiabilidade do acesso. Em 1989, dois professores da Universidade de Wisconsin publicaram um artigo em uma conferência da ACM descrevendo seus métodos para melhorar o desempenho do banco de dados. A ideia era replicar as informações importantes – e mais solicitadas – em um pequeno banco de dados temporário com links para o banco de dados principal. Isso significava que o pequeno banco de dados poderia ser pesquisado muito mais rapidamente do que o grande. Seu melhor desempenho levou à introdução da indexação, incorporada em todos os SGBDs.

Sistemas NoSQL (2000)

O século trouxe uma nova tendência em bancos de dados: NoSQL. Esta tendência introduziu uma linha não relacional significativamente diferente das clássicas. Eles geralmente não exigem esquemas fixos, evitam operações de junção armazenando dados desnormalizados e são projetados para escalar horizontalmente. A maioria deles pode ser classificada como armazenamento de valores-chave ou bancos de dados orientados a documentos.

Recentemente tem havido uma grande procura por bases de dados distribuídas com tolerância de partição, mas de acordo com o teorema CAP não é possível alcançar um sistema distribuído que forneça simultaneamente consistência, disponibilidade e tolerância de partição. Um sistema distribuído pode satisfazer apenas duas das três restrições por vez. Por esta razão, muitos bancos de dados NoSQL utilizam a chamada consistência eventual para fornecer disponibilidade e tolerância de partição, com um nível máximo de consistência de dados.

Entre as aplicações mais populares encontramos MongoDB, MemcacheDB, Redis, CouchDB, Hazelcast"), Apache Cassandra e HBase, todos de código aberto.

Sistemas XML (2010)

Os bancos de dados XML formam um subconjunto de bancos de dados NoSQL. Todos eles usam o formato de armazenamento XML, que é aberto, legível por humanos e máquinas e amplamente utilizado para interoperabilidade.

Nesta categoria encontramos: BaseX, eXist, MarkLogic Server, MonetDB/XQuery, Sedna.

Sistemas de navegação (1960)

À medida que os computadores ganharam velocidade e capacidade, surgiram sistemas de bancos de dados de uso geral; Em meados da década de 1960, alguns sistemas estavam em uso. Surgiu o interesse em obter um padrão e Charles Bachman – autor de um dos primeiros produtos, o Integrated Data Store (IDS) – fundou o Database Task Group dentro do CODASYL, grupo responsável pela criação e padronização do COBOL. Em 1971 publicaram seu padrão, que ficou conhecido como "abordagem CODASYL", e logo surgiram alguns produtos baseados nesta linha.

A estratégia da CODASYL baseou-se na navegação manual através de um conjunto de dados interligados em rede. Quando o banco de dados foi iniciado, o programa retornou um link para o primeiro registro do banco de dados, que por sua vez continha ponteiros para outros dados. Para encontrar um registro específico, o programador tinha que seguir ponteiros até chegar ao registro desejado.

Para responder perguntas simples como “encontrar todas as pessoas no Japão”, o programa teve que analisar todos os dados para escolher os registros corretos. Não existiam conceitos de “busca” ou “encontrar”, algo que hoje seria inaceitável, mas na época em que os dados eram armazenados em fita não era viável colocá-los em prática.

Foram encontradas soluções para muitos destes problemas. O fabricante Prime criou um SGBD compatível com CODASYL baseado em árvores binárias que abreviavam a navegação de registro para registro, fornecendo caminhos de acesso alternativos. Ele também forneceu uma linguagem de consulta muito clara. Na verdade, não há razão para não poder aplicar conceitos de normalização a bancos de dados CODASYL, mas, em última análise, o CODASYL era muito complexo e exigia muito esforço e prática para produzir uma aplicação útil.

A IBM também tinha seu próprio SGBD em 1968, conhecido como IMS "IMS (IBM)"). Foi um software desenvolvido para o programa Apollo no System/360. O IMS tinha conceitos semelhantes ao CODASYL, mas usava uma hierarquia estrita de ordenação de dados, em comparação com a estrutura de rede do CODASYL. Ambos os conceitos foram posteriormente incluídos no conceito de bases de dados de navegação devido à forma como os dados eram acessados. Na verdade, Bachman recebeu o Prêmio Turing em 1973 por sua apresentação O programador como navegador.[2]​.

Sistemas Relacionais (1970)

Edgar Codd trabalhava na IBM, num daqueles escritórios periféricos que se dedicava principalmente ao desenvolvimento de discos rígidos. Fiquei insatisfeito com o modelo de navegação CODASYL, principalmente pela falta de operação de busca. Em 1970 ele escreveu alguns artigos nos quais delineava uma nova abordagem que culminou no documento "Um Modelo Relacional de Dados para Grandes Bancos de Dados Compartilhados".[3]​.

Neste artigo ele descobriu um novo sistema para armazenar e trabalhar com grandes bancos de dados. Em vez de armazenar registros de tipo arbitrário em uma lista encadeada como no CODASYL, a ideia de Codd era usar uma "tabela" de registros de tamanho fixo. Uma lista encadeada tem muito pouca eficiência ao armazenar dados esparsos, onde alguns dados de um registro podem ser deixados em branco. O modelo relacional resolve isso dividindo os dados em uma série de tabelas normalizadas – ou relacionamentos – nas quais elementos opcionais foram extraídos da tabela principal para que ocupem espaço apenas se necessário. Neste modelo relacional, os registros relacionados são vinculados a uma “chave”.

Um uso comum de bancos de dados pode manter um catálogo de endereços de usuários, seus nomes, informações de login, endereço e número de telefone. Na solução de navegação, todos esses dados estariam localizados em um único registro e os recursos não utilizados simplesmente não estariam no banco de dados. Na solução relacional, os dados seriam normalizados em uma tabela de usuários, uma tabela de telefone e uma tabela de endereços, nas quais seriam adicionados registros caso tivéssemos que incorporar telefone e endereço.

Reconciliar todas as informações é a chave deste sistema. No modelo relacional, uma parte da informação é utilizada como chave, identificando de forma única um registro específico. Quando são coletadas informações sobre um usuário, as informações nas tabelas opcionais serão acessadas por meio de pesquisa por meio dessa chave. Por exemplo, se o nome de usuário for exclusivo, o endereço e o número de telefone desse usuário serão salvos com o nome de usuário como senha. A compilação dessas informações em um único registro é algo para o qual as linguagens tradicionais não foram projetadas.

Assim como a abordagem de navegação exige programas que façam loop para coletar registros, a abordagem relacional também os exigirá. A solução de Codd para os loops necessários é baseada em uma linguagem orientada a conjuntos, uma sugestão que mais tarde se cristalizaria no onipresente SQL. Ele propôs a utilização de um ramo da álgebra chamado cálculo de tuplas, e demonstrou que com ele todas as operações típicas poderiam ser realizadas em um banco de dados, além de extrair conjuntos de dados de forma simples.

O artigo de Codd caiu nas mãos de duas pessoas em Berkeley, Eugene Wong e Michael Stonebraker. Eles iniciaram um projeto chamado INGRES com recursos alocados para um projeto de banco de dados geográfico programado pelos alunos. A partir de 1973, o INGRES produziu suas primeiras versões de teste que ficaram prontas para uso geral em 1979. O INGRES era muito semelhante ao System R da IBM em vários aspectos, incluindo uma linguagem para acesso a dados, conhecida como QUEL. Com o tempo, o INGRES adotou o padrão SQL.

A IBM realizou uma implementação de teste do modelo relacional - PRTV - e uma de produção - Business System 12 - ambos descontinuados. Honeywell escreveu MRDS para Multics, e duas novas implementações também aparecem: Alphora Dataphor") e Rel. A maioria das outras implementações dos chamados SGBDs relacionais são, na verdade, SGBDs SQL.

Na década de 1970, a Universidade de Michigan iniciou o desenvolvimento do MICRO Information Management System baseado no modelo de dados teórico de D. L. Childs. Micro foi usado para gerenciar grandes quantidades de dados no Departamento do Trabalho do governo dos EUA. Ele rodava em mainframe usando Michigan Terminal System. Esteve em produção até 1998.

Sistemas SQL (final da década de 1970)

A IBM começou a trabalhar no início da década de 1970 em um protótipo vagamente baseado nos conceitos de Codd, chamando-o de System R. A primeira versão ficou pronta em 1974 ou 1975, e começou o trabalho em sistemas multitabelas, nos quais os dados podiam ser desagregados para que todas as informações em um registro (algumas das quais são opcionais) não precisassem ser armazenadas em um único grande pedaço. Versões multiusuário subsequentes foram testadas por usuários em 1978 e 1979, época em que uma linguagem SQL já havia sido padronizada. As ideias de Codd revelaram-se operacionais e superiores às do CODASYL, lançando a IBM no desenvolvimento de uma verdadeira versão de produção do System R, conhecida como SQL/DS, e posteriormente como Banco de Dados 2 (DB2).

Muitos dos técnicos do INGRES estavam certos do sucesso comercial do sistema, e formaram suas próprias empresas para comercializar o desenvolvimento mas com interface SQL. Sybase, Informix, NonStop SQL e o próprio INGRES foram vendidos como derivados do INGRES original na década de 1980. Até o SQL Server da Microsoft é baseado em Sybase e, portanto, em INGRES. Apenas Larry Ellison – o fundador da Oracle – iniciou um novo caminho baseado no artigo da IBM sobre o System R, e ultrapassou a IBM ao lançar sua primeira versão em 1978.

Stonebraker aplicou as lições do INGRES ao desenvolvimento de um novo banco de dados – Postgres – agora conhecido como PostgreSQL. O PostgreSQL é usado para muitos aplicativos críticos (os registros de domínio .org e .info o utilizam para armazenamento primário, bem como para grandes empresas e instituições financeiras).

Na Suécia, o artigo de Codd gerou o banco de dados Mimer SQL[4]​ na Universidade de Uppsala. Em 1984 este projeto foi consolidado em uma empresa independente. No início da década de 1980, Mimer introduziu o gerenciamento de transações para fornecer robustez às aplicações, uma ideia que foi adotada em muitos outros SGBDs.

Sistemas orientados a objetos (1980)

Durante a década de 1980, o surgimento da programação orientada a objetos influenciou a forma como as informações nos bancos de dados eram tratadas. Programadores e designers começaram a tratar os dados dos bancos de dados como objetos. Isso significa que se os dados de uma pessoa estiverem no banco de dados, os atributos da pessoa, como endereço, número de telefone e idade, serão considerados pertencentes à pessoa e não aos dados estrangeiros. Isso permite que relacionamentos sejam estabelecidos entre objetos e atributos, em vez de entre campos individuais.

Outro grande foco de atenção durante a década foi o aumento da velocidade e confiabilidade do acesso. Em 1989, dois professores da Universidade de Wisconsin publicaram um artigo em uma conferência da ACM descrevendo seus métodos para melhorar o desempenho do banco de dados. A ideia era replicar as informações importantes – e mais solicitadas – em um pequeno banco de dados temporário com links para o banco de dados principal. Isso significava que o pequeno banco de dados poderia ser pesquisado muito mais rapidamente do que o grande. Seu melhor desempenho levou à introdução da indexação, incorporada em todos os SGBDs.

Sistemas NoSQL (2000)

O século trouxe uma nova tendência em bancos de dados: NoSQL. Esta tendência introduziu uma linha não relacional significativamente diferente das clássicas. Eles geralmente não exigem esquemas fixos, evitam operações de junção armazenando dados desnormalizados e são projetados para escalar horizontalmente. A maioria deles pode ser classificada como armazenamento de valores-chave ou bancos de dados orientados a documentos.

Recentemente tem havido uma grande procura por bases de dados distribuídas com tolerância de partição, mas de acordo com o teorema CAP não é possível alcançar um sistema distribuído que forneça simultaneamente consistência, disponibilidade e tolerância de partição. Um sistema distribuído pode satisfazer apenas duas das três restrições por vez. Por esta razão, muitos bancos de dados NoSQL utilizam a chamada consistência eventual para fornecer disponibilidade e tolerância de partição, com um nível máximo de consistência de dados.

Entre as aplicações mais populares encontramos MongoDB, MemcacheDB, Redis, CouchDB, Hazelcast"), Apache Cassandra e HBase, todos de código aberto.

Sistemas XML (2010)

Os bancos de dados XML formam um subconjunto de bancos de dados NoSQL. Todos eles usam o formato de armazenamento XML, que é aberto, legível por humanos e máquinas e amplamente utilizado para interoperabilidade.

Nesta categoria encontramos: BaseX, eXist, MarkLogic Server, MonetDB/XQuery, Sedna.