refactor: reorganize project structure and fix broken references

- Move scripts to scripts/ directory (roda.sh, prepara_db.py, etc.)
- Move shell config to shell/ directory (Caddyfile, auth.py, haloy.yml)
- Move basedosdados.duckdb to data/ directory
- Update Dockerfile and start.sh with new file paths
- Update README.md with correct script paths
- Remove Python ask.py (replaced by Rust binary in ask/ask)
- Add Rust source files (schema_filter.rs, sql_generator.rs, table_selector.rs)
- Remove sentence-transformer dependencies from ask
- Move docs and context artifacts to their directories

tasks/all_tables.txt

@@ -0,0 +1,535 @@
+br_anatel_banda_larga_fixa.densidade_brasil
+br_anatel_banda_larga_fixa.densidade_municipio
+br_anatel_banda_larga_fixa.densidade_uf
+br_anatel_banda_larga_fixa.microdados
+br_anatel_indice_brasileiro_conectividade.municipio
+br_anp_precos_combustiveis.microdados
+br_ans_beneficiario.informacao_consolidada
+br_bcb_estban.agencia
+br_bcb_estban.dicionario
+br_bcb_estban.municipio
+br_bcb_sicor.dicionario
+br_bcb_sicor.empreendimento
+br_bcb_sicor.liberacao
+br_bcb_sicor.operacao
+br_bcb_sicor.operacoes_desclassificadas
+br_bcb_sicor.recurso_publico_complemento_operacao
+br_bcb_sicor.recurso_publico_cooperado
+br_bcb_sicor.recurso_publico_gleba
+br_bcb_sicor.recurso_publico_mutuario
+br_bcb_sicor.recurso_publico_propriedade
+br_bcb_sicor.saldo
+br_bcb_taxa_cambio.taxa_cambio
+br_bcb_taxa_selic.taxa_selic
+br_bd_diretorios_brasil.area_conhecimento
+br_bd_diretorios_brasil.cbo_1994
+br_bd_diretorios_brasil.cbo_2002
+br_bd_diretorios_brasil.cep
+br_bd_diretorios_brasil.cid_10
+br_bd_diretorios_brasil.cid_9
+br_bd_diretorios_brasil.cnae_1
+br_bd_diretorios_brasil.cnae_2
+br_bd_diretorios_brasil.curso_superior
+br_bd_diretorios_brasil.distrito_1991
+br_bd_diretorios_brasil.distrito_2000
+br_bd_diretorios_brasil.distrito_2010
+br_bd_diretorios_brasil.empresa
+br_bd_diretorios_brasil.escola
+br_bd_diretorios_brasil.etnia_indigena
+br_bd_diretorios_brasil.instituicao_ensino_superior
+br_bd_diretorios_brasil.municipio
+br_bd_diretorios_brasil.natureza_juridica
+br_bd_diretorios_brasil.regiao
+br_bd_diretorios_brasil.setor_censitario_2010
+br_bd_diretorios_brasil.setor_censitario_2022
+br_bd_diretorios_brasil.subatividade_ibge
+br_bd_diretorios_brasil.uf
+br_bd_diretorios_mundo.continente
+br_bd_diretorios_mundo.nomenclatura_comum_mercosul
+br_bd_diretorios_mundo.pais
+br_bd_diretorios_mundo.sistema_harmonizado
+br_bd_metadados.bigquery_tables
+br_bd_metadados.prefect_flow_runs
+br_camara_dados_abertos.deputado
+br_camara_dados_abertos.deputado_ocupacao
+br_camara_dados_abertos.deputado_profissao
+br_camara_dados_abertos.despesa
+br_camara_dados_abertos.evento
+br_camara_dados_abertos.evento_orgao
+br_camara_dados_abertos.evento_presenca_deputado
+br_camara_dados_abertos.evento_requerimento
+br_camara_dados_abertos.frente
+br_camara_dados_abertos.frente_deputado
+br_camara_dados_abertos.funcionario
+br_camara_dados_abertos.legislatura
+br_camara_dados_abertos.legislatura_mesa
+br_camara_dados_abertos.licitacao
+br_camara_dados_abertos.licitacao_contrato
+br_camara_dados_abertos.licitacao_item
+br_camara_dados_abertos.licitacao_pedido
+br_camara_dados_abertos.licitacao_proposta
+br_camara_dados_abertos.orgao
+br_camara_dados_abertos.orgao_deputado
+br_camara_dados_abertos.proposicao_autor
+br_camara_dados_abertos.proposicao_microdados
+br_camara_dados_abertos.proposicao_tema
+br_camara_dados_abertos.votacao
+br_camara_dados_abertos.votacao_objeto
+br_camara_dados_abertos.votacao_orientacao_bancada
+br_camara_dados_abertos.votacao_parlamentar
+br_camara_dados_abertos.votacao_proposicao
+br_ce_fortaleza_sefin_iptu.face_quadra
+br_cgu_beneficios_cidadao.auxilio_brasil
+br_cgu_beneficios_cidadao.auxilio_emergencial
+br_cgu_beneficios_cidadao.bolsa_familia_pagamento
+br_cgu_beneficios_cidadao.bpc
+br_cgu_beneficios_cidadao.garantia_safra
+br_cgu_beneficios_cidadao.novo_bolsa_familia
+br_cgu_cartao_pagamento.dicionario
+br_cgu_cartao_pagamento.microdados_compras_centralizadas
+br_cgu_cartao_pagamento.microdados_defesa_civil
+br_cgu_cartao_pagamento.microdados_governo_federal
+br_cgu_dados_abertos.conjunto
+br_cgu_dados_abertos.organizacao
+br_cgu_dados_abertos.recurso
+br_cgu_emendas_parlamentares.microdados
+br_cgu_licitacao_contrato.contrato_apostilamento
+br_cgu_licitacao_contrato.contrato_compra
+br_cgu_licitacao_contrato.contrato_item
+br_cgu_licitacao_contrato.contrato_termo_aditivo
+br_cgu_licitacao_contrato.licitacao
+br_cgu_licitacao_contrato.licitacao_empenho
+br_cgu_licitacao_contrato.licitacao_item
+br_cgu_licitacao_contrato.licitacao_participante
+br_cgu_orcamento_publico.orcamento
+br_cgu_receitas_publicas.receitas
+br_cgu_servidores_executivo_federal.afastamentos
+br_cgu_servidores_executivo_federal.cadastro_aposentados
+br_cgu_servidores_executivo_federal.cadastro_pensionistas
+br_cgu_servidores_executivo_federal.cadastro_reserva_reforma_militares
+br_cgu_servidores_executivo_federal.cadastro_servidores
+br_cgu_servidores_executivo_federal.observacoes
+br_cgu_servidores_executivo_federal.remuneracao
+br_cnj_improbidade_administrativa.condenacao
+br_cnpq_bolsas.dicionario
+br_cnpq_bolsas.microdados
+br_cvm_administradores_carteira.pessoa_fisica
+br_cvm_administradores_carteira.pessoa_juridica
+br_cvm_administradores_carteira.responsavel
+br_cvm_oferta_publica_distribuicao.dia
+br_datahackers_state_data.microdados
+br_fbsp_absp.uf
+br_fbsp_absp.violencia_escola
+br_fgv_igp.igp_10_mes
+br_fgv_igp.igp_di_ano
+br_fgv_igp.igp_di_mes
+br_fgv_igp.igp_m_ano
+br_fgv_igp.igp_m_mes
+br_fgv_igp.igp_og_ano
+br_fgv_igp.igp_og_mes
+br_geobr_mapas.amazonia_legal
+br_geobr_mapas.area_minima_comparavel_2010
+br_geobr_mapas.area_risco_desastre
+br_geobr_mapas.arranjo_populacional
+br_geobr_mapas.bioma
+br_geobr_mapas.concentracao_urbana
+br_geobr_mapas.escola
+br_geobr_mapas.estabelecimentos_saude
+br_geobr_mapas.limite_vizinhanca
+br_geobr_mapas.mesorregiao
+br_geobr_mapas.microrregiao
+br_geobr_mapas.municipio
+br_geobr_mapas.pais
+br_geobr_mapas.pegada_urbana
+br_geobr_mapas.regiao
+br_geobr_mapas.regiao_imediata
+br_geobr_mapas.regiao_intermediaria
+br_geobr_mapas.regiao_metropolitana_2017
+br_geobr_mapas.saude
+br_geobr_mapas.sede_municipal
+br_geobr_mapas.semiarido
+br_geobr_mapas.setor_censitario_2010
+br_geobr_mapas.terra_indigena
+br_geobr_mapas.uf
+br_geobr_mapas.unidade_conservacao
+br_ibge_censo_2022.alfabetizacao_grupo_idade_sexo_raca
+br_ibge_censo_2022.cadastro_enderecos
+br_ibge_censo_2022.caracteristica_domicilio_grupo_idade_raca_destino_lixo
+br_ibge_censo_2022.caracteristica_domicilio_grupo_idade_raca_esgotamento_sanitario
+br_ibge_censo_2022.caracteristica_domicilio_grupo_idade_raca_ligacao_abastecimento_agua
+br_ibge_censo_2022.caracteristica_domicilio_grupo_idade_raca_tipo_domicilio
+br_ibge_censo_2022.dicionario
+br_ibge_censo_2022.domicilio_recenseado
+br_ibge_censo_2022.indice_envelhecimento_raca
+br_ibge_censo_2022.municipio
+br_ibge_censo_2022.populacao_grupo_idade_sexo_raca
+br_ibge_censo_2022.populacao_grupo_idade_uf
+br_ibge_censo_2022.populacao_idade_sexo
+br_ibge_censo_2022.setor_censitario
+br_ibge_censo_2022.terra_indigena
+br_ibge_censo_2022.territorio_quilombola
+br_ibge_censo_demografico.dicionario
+br_ibge_censo_demografico.microdados_domicilio_1970
+br_ibge_censo_demografico.microdados_domicilio_1980
+br_ibge_censo_demografico.microdados_domicilio_1991
+br_ibge_censo_demografico.microdados_domicilio_2000
+br_ibge_censo_demografico.microdados_domicilio_2010
+br_ibge_censo_demografico.microdados_pessoa_1970
+br_ibge_censo_demografico.microdados_pessoa_1980
+br_ibge_censo_demografico.microdados_pessoa_1991
+br_ibge_censo_demografico.microdados_pessoa_2000
+br_ibge_censo_demografico.microdados_pessoa_2010
+br_ibge_censo_demografico.setor_censitario_alfabetizacao_homens_mulheres_2010
+br_ibge_censo_demografico.setor_censitario_alfabetizacao_total_2010
+br_ibge_censo_demografico.setor_censitario_basico_2010
+br_ibge_censo_demografico.setor_censitario_domicilio_caracteristicas_gerais_2010
+br_ibge_censo_demografico.setor_censitario_domicilio_moradores_2010
+br_ibge_censo_demografico.setor_censitario_domicilio_renda_2010
+br_ibge_censo_demografico.setor_censitario_entorno_2010
+br_ibge_censo_demografico.setor_censitario_idade_homens_2010
+br_ibge_censo_demografico.setor_censitario_idade_mulheres_2010
+br_ibge_censo_demografico.setor_censitario_idade_total_2010
+br_ibge_censo_demografico.setor_censitario_pessoa_renda_2010
+br_ibge_censo_demografico.setor_censitario_raca_alfabetizacao_idade_genero_2010
+br_ibge_censo_demografico.setor_censitario_raca_idade_0_4_genero_2010
+br_ibge_censo_demografico.setor_censitario_raca_idade_genero_2010
+br_ibge_censo_demografico.setor_censitario_registro_civil_2010
+br_ibge_censo_demografico.setor_censitario_relacao_parentesco_conjuges_2010
+br_ibge_censo_demografico.setor_censitario_relacao_parentesco_filhos_2010
+br_ibge_censo_demografico.setor_censitario_relacao_parentesco_filhos_enteados_2010
+br_ibge_censo_demografico.setor_censitario_relacao_parentesco_outros_2010
+br_ibge_censo_demografico.setor_censitario_responsavel_domicilios_homens_total_2010
+br_ibge_censo_demografico.setor_censitario_responsavel_domicilios_mulheres_2010
+br_ibge_censo_demografico.setor_censitario_responsavel_renda_2010
+br_ibge_estadic.dicionario
+br_ibge_inpc.mes_brasil
+br_ibge_inpc.mes_categoria_brasil
+br_ibge_inpc.mes_categoria_municipio
+br_ibge_inpc.mes_categoria_rm
+br_ibge_ipca.mes_brasil
+br_ibge_ipca.mes_categoria_brasil
+br_ibge_ipca.mes_categoria_municipio
+br_ibge_ipca.mes_categoria_rm
+br_ibge_ipca15.mes_brasil
+br_ibge_ipca15.mes_categoria_brasil
+br_ibge_ipca15.mes_categoria_municipio
+br_ibge_ipca15.mes_categoria_rm
+br_ibge_pam.lavoura_permanente
+br_ibge_pam.lavoura_temporaria
+br_ibge_pevs.producao_extracao_vegetal
+br_ibge_pevs.producao_silvicultura
+br_ibge_pib.gini
+br_ibge_pib.municipio
+br_ibge_pnad.dicionario
+br_ibge_pnad.microdados_compatibilizados_domicilio
+br_ibge_pnad.microdados_compatibilizados_pessoa
+br_ibge_pnad_covid.dicionario
+br_ibge_pnadc.dicionario
+br_ibge_pnadc.educacao
+br_ibge_pnadc.microdados
+br_ibge_pnadc.rendimentos_outras_fontes
+br_ibge_pof.dicionario
+br_ibge_populacao.brasil
+br_ibge_populacao.municipio
+br_ibge_populacao.uf
+br_ibge_ppm.efetivo_rebanhos
+br_ibge_ppm.producao_aquicultura
+br_ibge_ppm.producao_origem_animal
+br_ibge_ppm.producao_pecuaria
+br_inep_ana.dicionario
+br_inep_avaliacao_alfabetizacao.alunos
+br_inep_avaliacao_alfabetizacao.dicionario
+br_inep_avaliacao_alfabetizacao.meta_alfabetizacao_brasil
+br_inep_avaliacao_alfabetizacao.meta_alfabetizacao_municipio
+br_inep_avaliacao_alfabetizacao.meta_alfabetizacao_uf
+br_inep_avaliacao_alfabetizacao.municipio
+br_inep_avaliacao_alfabetizacao.uf
+br_inep_censo_educacao_superior.curso
+br_inep_censo_educacao_superior.dicionario
+br_inep_censo_educacao_superior.ies
+br_inep_censo_escolar.dicionario
+br_inep_censo_escolar.escola
+br_inep_censo_escolar.turma
+br_inep_educacao_especial.brasil_distorcao_idade_serie
+br_inep_educacao_especial.brasil_taxa_rendimento
+br_inep_educacao_especial.distorcao_idade_serie
+br_inep_educacao_especial.docente_aee
+br_inep_educacao_especial.docente_formacao
+br_inep_educacao_especial.etapa_ensino
+br_inep_educacao_especial.faixa_etaria
+br_inep_educacao_especial.localizacao
+br_inep_educacao_especial.matricula_aee
+br_inep_educacao_especial.sexo_raca_cor
+br_inep_educacao_especial.taxa_rendimento
+br_inep_educacao_especial.tempo_ensino
+br_inep_educacao_especial.tipo_deficiencia
+br_inep_educacao_especial.uf_distorcao_idade_serie
+br_inep_educacao_especial.uf_taxa_rendimento
+br_inep_enem.dicionario
+br_inep_enem.microdados
+br_inep_enem.questionario_socioeconomico_1998
+br_inep_enem.questionario_socioeconomico_1999
+br_inep_enem.questionario_socioeconomico_2000
+br_inep_enem.questionario_socioeconomico_2001
+br_inep_enem.questionario_socioeconomico_2002
+br_inep_enem.questionario_socioeconomico_2003
+br_inep_enem.questionario_socioeconomico_2004
+br_inep_enem.questionario_socioeconomico_2005
+br_inep_enem.questionario_socioeconomico_2006
+br_inep_enem.questionario_socioeconomico_2007
+br_inep_enem.questionario_socioeconomico_2008
+br_inep_enem.questionario_socioeconomico_2009
+br_inep_enem.questionario_socioeconomico_2010
+br_inep_enem.questionario_socioeconomico_2011
+br_inep_enem.questionario_socioeconomico_2012
+br_inep_enem.questionario_socioeconomico_2013
+br_inep_enem.questionario_socioeconomico_2014
+br_inep_enem.questionario_socioeconomico_2015
+br_inep_enem.questionario_socioeconomico_2016
+br_inep_enem.questionario_socioeconomico_2017
+br_inep_enem.questionario_socioeconomico_2018
+br_inep_enem.questionario_socioeconomico_2019
+br_inep_enem.questionario_socioeconomico_2020
+br_inep_enem.questionario_socioeconomico_2021
+br_inep_enem.questionario_socioeconomico_2022
+br_inep_enem.questionario_socioeconomico_2023
+br_inep_formacao_docente.dicionario
+br_inep_ideb.brasil
+br_inep_ideb.escola
+br_inep_ideb.municipio
+br_inep_ideb.regiao
+br_inep_ideb.uf
+br_inep_indicador_nivel_socioeconomico.dicionario
+br_inep_indicador_nivel_socioeconomico.escola
+br_inep_indicadores_educacionais.brasil
+br_inep_indicadores_educacionais.brasil_remuneracao_docentes
+br_inep_indicadores_educacionais.brasil_taxa_transicao
+br_inep_indicadores_educacionais.escola
+br_inep_indicadores_educacionais.municipio
+br_inep_indicadores_educacionais.municipio_taxa_transicao
+br_inep_indicadores_educacionais.regiao
+br_inep_indicadores_educacionais.regiao_taxa_transicao
+br_inep_indicadores_educacionais.uf
+br_inep_indicadores_educacionais.uf_remuneracao_docentes
+br_inep_indicadores_educacionais.uf_taxa_transicao
+br_inep_saeb.aluno_ef_2ano
+br_inep_saeb.aluno_ef_5ano
+br_inep_saeb.aluno_ef_9ano
+br_inep_saeb.aluno_em_34ano
+br_inep_saeb.brasil
+br_inep_saeb.brasil_taxa_alfabetizacao
+br_inep_saeb.dicionario
+br_inep_saeb.municipio
+br_inep_saeb.proficiencia
+br_inep_saeb.uf
+br_inep_saeb.uf_taxa_alfabetizacao
+br_inep_sinopse_estatistica_educacao_basica.dicionario
+br_inep_sinopse_estatistica_educacao_basica.docente_deficiencia
+br_inep_sinopse_estatistica_educacao_basica.docente_escolaridade
+br_inep_sinopse_estatistica_educacao_basica.docente_etapa_ensino
+br_inep_sinopse_estatistica_educacao_basica.docente_faixa_etaria_sexo
+br_inep_sinopse_estatistica_educacao_basica.docente_localizacao
+br_inep_sinopse_estatistica_educacao_basica.docente_regime_contrato
+br_inep_sinopse_estatistica_educacao_basica.educacao_especial_etapa_ensino
+br_inep_sinopse_estatistica_educacao_basica.educacao_especial_faixa_etaria
+br_inep_sinopse_estatistica_educacao_basica.educacao_especial_localizacao
+br_inep_sinopse_estatistica_educacao_basica.educacao_especial_sexo_raca_cor
+br_inep_sinopse_estatistica_educacao_basica.educacao_especial_tempo_ensino
+br_inep_sinopse_estatistica_educacao_basica.educacao_especial_tipo_deficiencia
+br_inep_sinopse_estatistica_educacao_basica.etapa_ensino_serie
+br_inep_sinopse_estatistica_educacao_basica.faixa_etaria
+br_inep_sinopse_estatistica_educacao_basica.localizacao
+br_inep_sinopse_estatistica_educacao_basica.sexo_raca_cor
+br_inep_sinopse_estatistica_educacao_basica.tempo_ensino
+br_inmet_bdmep.microdados
+br_inpe_prodes.municipio_bioma
+br_inpe_queimadas.microdados
+br_inpe_sisam.microdados
+br_ipea_avs.municipio
+br_mdr_snis.municipio_agua_esgoto
+br_mdr_snis.prestador_agua_esgoto
+br_me_caged.dicionario
+br_me_caged.microdados_movimentacao
+br_me_caged.microdados_movimentacao_excluida
+br_me_caged.microdados_movimentacao_fora_prazo
+br_me_cno.dicionario
+br_me_cnpj.dicionario
+br_me_cnpj.empresas
+br_me_cnpj.estabelecimentos
+br_me_cnpj.simples
+br_me_cnpj.socios
+br_me_comex_stat.dicionario
+br_me_comex_stat.municipio_exportacao
+br_me_comex_stat.municipio_importacao
+br_me_comex_stat.ncm_exportacao
+br_me_comex_stat.ncm_importacao
+br_me_rais.dicionario
+br_me_rais.microdados_estabelecimentos
+br_me_rais.microdados_vinculos
+br_me_sic.dicionario
+br_me_sic.transferencia
+br_me_siconfi.municipio_balanco_patrimonial
+br_me_siconfi.municipio_despesas_funcao
+br_me_siconfi.municipio_despesas_orcamentarias
+br_me_siconfi.municipio_receitas_orcamentarias
+br_me_siconfi.uf_despesas_funcao
+br_me_siconfi.uf_despesas_orcamentarias
+br_me_siconfi.uf_receitas_orcamentarias
+br_mec_prouni.dicionario
+br_mec_sisu.microdados
+br_mg_belohorizonte_smfa_iptu.dicionario
+br_mg_belohorizonte_smfa_iptu.iptu
+br_mme_consumo_energia_eletrica.uf
+br_mp_pep.cargos_funcoes
+br_ms_cnes.dados_complementares
+br_ms_cnes.dicionario
+br_ms_cnes.equipamento
+br_ms_cnes.equipe
+br_ms_cnes.estabelecimento
+br_ms_cnes.estabelecimento_ensino
+br_ms_cnes.estabelecimento_filantropico
+br_ms_cnes.gestao_metas
+br_ms_cnes.habilitacao
+br_ms_cnes.incentivos
+br_ms_cnes.leito
+br_ms_cnes.profissional
+br_ms_cnes.regra_contratual
+br_ms_cnes.servico_especializado
+br_ms_pns.dicionario
+br_ms_pns.microdados_2013
+br_ms_pns.microdados_2019
+br_ms_populacao.municipio
+br_ms_sia.dicionario
+br_ms_sia.producao_ambulatorial
+br_ms_sia.psicossocial
+br_ms_sih.aihs_reduzidas
+br_ms_sih.dicionario
+br_ms_sih.servicos_profissionais
+br_ms_sim.dicionario
+br_ms_sim.microdados
+br_ms_sinan.dicionario
+br_ms_sinan.microdados_dengue
+br_ms_sinan.microdados_influenza_srag
+br_ms_sinasc.dicionario
+br_ms_sinasc.microdados
+br_ms_sisvan.dicionario
+br_ms_sisvan.microdados
+br_ms_vacinacao_covid19.dicionario
+br_poder360_pesquisas.microdados
+br_rf_arrecadacao.cnae
+br_rf_arrecadacao.ir_ipi
+br_rf_arrecadacao.itr
+br_rf_arrecadacao.natureza_juridica
+br_rf_arrecadacao.uf
+br_rf_cafir.dicionario
+br_rf_cafir.imoveis_rurais
+br_rf_cno.areas
+br_rf_cno.cnaes
+br_rf_cno.dicionario
+br_rf_cno.microdados
+br_rf_cno.vinculos
+br_rj_isp_estatisticas_seguranca.armas_apreendidas_mensal
+br_rj_isp_estatisticas_seguranca.armas_fogo_apreendidas_mensal
+br_rj_isp_estatisticas_seguranca.evolucao_mensal_cisp
+br_rj_isp_estatisticas_seguranca.evolucao_mensal_municipio
+br_rj_isp_estatisticas_seguranca.evolucao_mensal_uf
+br_rj_isp_estatisticas_seguranca.evolucao_mensal_upp
+br_rj_isp_estatisticas_seguranca.evolucao_policial_morto_servico_mensal
+br_rj_isp_estatisticas_seguranca.feminicidio_mensal_cisp
+br_rj_isp_estatisticas_seguranca.relacao_cisp_aisp_risp
+br_rj_isp_estatisticas_seguranca.taxa_evolucao_anual_municipio
+br_rj_isp_estatisticas_seguranca.taxa_evolucao_anual_uf
+br_rj_isp_estatisticas_seguranca.taxa_evolucao_mensal_municipio
+br_rj_isp_estatisticas_seguranca.taxa_evolucao_mensal_uf
+br_rj_isp_estatisticas_seguranca.taxa_letalidade
+br_seeg_emissoes.dicionario
+br_seeg_emissoes.municipio
+br_seeg_emissoes.uf
+br_sfb_sicar.area_imovel
+br_sfb_sicar.dicionario
+br_simet_educacao_conectada.escola
+br_sp_saopaulo_geosampa_iptu.iptu
+br_stf_corte_aberta.decisoes
+br_stf_corte_aberta.dicionario
+br_trase_supply_chain.beef
+br_trase_supply_chain.beef_slaughterhouses
+br_trase_supply_chain.soy_beans
+br_trase_supply_chain.soy_beans_crushing_facilities
+br_trase_supply_chain.soy_beans_refining_facilities
+br_trase_supply_chain.soy_beans_storage_facilities
+br_tse_eleicoes.bens_candidato
+br_tse_eleicoes.candidatos
+br_tse_eleicoes.despesas_candidato
+br_tse_eleicoes.detalhes_votacao_municipio
+br_tse_eleicoes.detalhes_votacao_municipio_zona
+br_tse_eleicoes.detalhes_votacao_secao
+br_tse_eleicoes.dicionario
+br_tse_eleicoes.partidos
+br_tse_eleicoes.perfil_eleitorado_local_votacao
+br_tse_eleicoes.perfil_eleitorado_municipio_zona
+br_tse_eleicoes.perfil_eleitorado_secao
+br_tse_eleicoes.receitas_candidato
+br_tse_eleicoes.receitas_comite
+br_tse_eleicoes.receitas_orgao_partidario
+br_tse_eleicoes.resultados_candidato
+br_tse_eleicoes.resultados_candidato_municipio
+br_tse_eleicoes.resultados_candidato_municipio_zona
+br_tse_eleicoes.resultados_candidato_secao
+br_tse_eleicoes.resultados_partido_municipio
+br_tse_eleicoes.resultados_partido_municipio_zona
+br_tse_eleicoes.resultados_partido_secao
+br_tse_eleicoes.vagas
+br_tse_filiacao_partidaria.microdados
+br_tse_filiacao_partidaria.microdados_antigos
+dataset_new_arch.tabela_new_arch
+logs.cloudaudit_googleapis_com_activity
+logs.cloudaudit_googleapis_com_data_access
+mundo_transfermarkt_competicoes.brasileirao_serie_a
+mundo_transfermarkt_competicoes.copa_brasil
+mundo_transfermarkt_competicoes_internacionais.champions_league
+test_dataset.test_table
+us_harvard_ned.parliamentary_elections
+us_harvard_ned.presidential_elections
+world_ampas_oscar.winner_demographics
+world_iea_pirls.dictionary
+world_iea_pirls.home_context
+world_iea_pirls.school_context
+world_iea_pirls.student_achievement
+world_iea_pirls.student_context
+world_iea_pirls.student_teacher_link
+world_iea_pirls.teacher_context
+world_iea_pirls.within_country_scoring_reliability
+world_iea_timss.dictionary
+world_iea_timss.home_context_grade_4
+world_iea_timss.school_context_grade_4
+world_iea_timss.school_context_grade_8
+world_iea_timss.student_achievement_grade_4
+world_iea_timss.student_achievement_grade_8
+world_iea_timss.student_context_grade_4
+world_iea_timss.student_context_grade_8
+world_iea_timss.teacher_context_grade_4
+world_iea_timss.teacher_mathematics_grade_8
+world_iea_timss.teacher_science_grade_8
+world_imdb_movies.top_movies_per_year
+world_oecd_pisa.student
+world_oecd_public_finance.country
+world_olympedia_olympics.athlete_bio
+world_olympedia_olympics.athlete_event_result
+world_olympedia_olympics.country
+world_olympedia_olympics.game
+world_olympedia_olympics.game_medal_tally
+world_olympedia_olympics.result
+world_sofascore_competicoes_futebol.brasileirao_serie_a
+world_sofascore_competicoes_futebol.uefa_champions_league
+world_wb_mides.dicionario
+world_wb_mides.empenho
+world_wb_mides.licitacao
+world_wb_mides.licitacao_item
+world_wb_mides.licitacao_participante
+world_wb_mides.liquidacao
+world_wb_mides.orgao_unidade_gestora
+world_wb_mides.pagamento
+world_wb_mides.relacionamentos
+world_wwf_hydrosheds.basins_atlas
+world_wwf_hydrosheds.lakes_atlas
+world_wwf_hydrosheds.rivers_atlas

tasks/datasets_to_scrap.md

@@ -143,11 +143,36 @@ Sources from https://github.com/jxnxts/mcp-brasil not in `basedosdados.duckdb`.
 | INPE | `inpe` | none | `https://terrabrasilis.dpi.inpe.br/queimadas/bdqueimadas-data-service` | JSON |
 | Tabua Mares | `tabua_mares` | none | `https://tabuademares.com/api/v2` | JSON |
 
-## Basedosdados.org — Not in basedosdados.duckdb (232 tables)
+## Basedosdados.org — Not in basedosdados.duckdb
 
-Basedosdados.org has **765 tables** on BigQuery, but only **533** are on S3 (and thus in your duckdb). The following datasets have **zero or partial** tables in duckdb.
+Basedosdados.org has **765 tables** on BigQuery, **~533** on S3. The remaining gap:
 
-### Full datasets — no tables in duckdb
+- **2 TABLEs** need `bq extract` → GCS → S3 (waiting on GCP billing restore)
+- **~230 are VIEWs** → need `bq query` to materialize, then `bq extract` (or streaming write to S3)
+- **3 tables MISSING** from BQ entirely (br_bcb_sicor microdados_* don't exist)
+
+### Need export — 2 TABLEs blocked on GCP billing
+
+| Dataset | Table | BQ Type | Notes |
+|---------|-------|---------|-------|
+| `br_bcb_taxa_cambio` | taxa_cambio | TABLE | ✅ `bq extract` works |
+| `br_bcb_taxa_selic` | taxa_selic | TABLE | ✅ `bq extract` works |
+
+### Already on S3 (no action needed)
+
+| Dataset | Tables |
+|---------|--------|
+| `br_bd_metadados` | bigquery_tables, prefect_flow_runs |
+| `br_fbsp_absp` | uf, violencia_escola |
+| `br_ibge_estadic` | dicionario |
+| `br_camara_dados_abertos` | all 33 tables (222 parquet files) |
+| `br_me_rais` | dicionario, microdados_estabelecimentos, microdados_vinculos |
+
+### ~230 VIEWs — need bq query materialization pipeline
+
+Cannot `bq extract` directly. Need to: (1) materialize via `bq query --destination_table`, or (2) stream via Python Arrow → S3 directly.
+
+#### Full datasets (all VIEWs)
 
 | Dataset | Tables missing | Notes |
 |---------|----------------|-------|
@@ -157,7 +182,7 @@ Basedosdados.org has **765 tables** on BigQuery, but only **533** are on S3 (and
 | `br_anvisa_medicamentos_industrializados` | microdados | |
 | `br_ba_feiradesantana_camara_leis` | microdados | |
 | `br_bd_diretorios_data_tempo` | tempo, data, ano, mes, dia, hora, bimestre, trimestre, semestre, minuto, segundo | Directory of time dimensions |
-| `br_bd_metadados` | external_links, information_requests, organizations, prefect_flows, resources, tables | BD metadata catalog |
+| `br_bd_metadados` | external_links, information_requests, organizations, resources, tables | |
 | `br_bd_vizinhanca` | municipio, uf | |
 | `br_caixa_sorteios` | megasena | |
 | `br_camara_dados_abertos` | sigla_partido | |
@@ -179,7 +204,7 @@ Basedosdados.org has **765 tables** on BigQuery, but only **533** are on S3 (and
 | `br_ieps_saude` | brasil, macrorregiao, municipio, regiao_saude, uf | |
 | `br_imprensa_nacional_dou` | secao_1, secao_2, secao_3 | Official gazette sections |
 | `br_ipea_acesso_oportunidades` | estatisticas_2019, indicadores_2019 | |
-| `br_mapbiomas_estatisticas` | classe, cobertura_municipio_classe, cobertura_uf_classe, transicao_municipio_de_para_anual/decenal/quinquenal, transicao_uf_de_para_anual/decenal/quinquenal | |
+| `br_mapbiomas_estatisticas` | classe, cobertura_municipio_classe, cobertura_uf_classe, transicao_*(anual/decenal/quinquenal) | |
 | `br_mc_indicadores` | transferencias_municipio | |
 | `br_me_clima_organizacional` | microdados | |
 | `br_me_estoque_divida_publica` | microdados | |
@@ -188,7 +213,7 @@ Basedosdados.org has **765 tables** on BigQuery, but only **533** are on S3 (and
 | `br_me_siape` | servidores_executivo_federal | |
 | `br_me_siorg` | remuneracao | |
 | `br_mma_extincao` | fauna_ameacada, flora_ameacada | |
-| `br_mobilidados_indicadores` | 11 tables (comprometimento_renda_tarifa_transp_publico, proporcao_*, taxa_motorizacao, etc.) | |
+| `br_mobilidados_indicadores` | 11 tables | |
 | `br_ms_atencao_basica` | municipio | |
 | `br_ms_imunizacoes` | municipio | |
 | `br_ons_energia_armazenada` | subsistemas | |
@@ -219,18 +244,16 @@ Basedosdados.org has **765 tables** on BigQuery, but only **533** are on S3 (and
 | `world_ti_corruption_perception` | country | |
 | `world_wb_wwbi` | country_finance, country_indicators | |
 
-### Partial datasets — some tables in duckdb, some missing
+#### Partial datasets — missing tables (all VIEWs, except where noted)
 
 | Dataset | Missing tables | In duckdb |
 |---------|----------------|-----------|
 | `br_anatel_banda_larga_fixa` | backhaul, pble | densidade_*, microdados |
-| `br_bcb_sicor` | microdados_liberacao, microdados_operacao, microdados_saldo | dicionario, liberacao, operacao, saldo, recurso_publico_* |
-| `br_bcb_taxa_cambio` | taxa_cambio | — (ACCESS_DENIED) |
-| `br_bcb_taxa_selic` | taxa_selic | — (ACCESS_DENIED) |
+| `br_bcb_sicor` | microdados_liberacao, microdados_operacao, microdados_saldo | dicionario, liberacao, operacao, saldo, + 5 more TABLEs |
 | `br_ibge_pib` | brasil_antigo, municipio_antigo, regiao_antigo, uf, uf_antigo | gini, municipio |
 | `br_ibge_pnad_covid` | microdados | dicionario |
-| `br_ibge_pnadc` | ano_brasil_grupo_idade, ano_brasil_raca_cor, ano_municipio_*, ano_regiao_*, ano_uf_* (cross-tabs) | dicionario, educacao, microdados, rendimentos_outras_fontes |
-| `br_ibge_pof` | all 17 tables (morador, domicilio, despesa_*, consumo_*, etc.) | none |
+| `br_ibge_pnadc` | 10 cross-tab tables (ano_*) | dicionario, educacao, microdados, rendimentos_outras_fontes |
+| `br_ibge_pof` | all 17 tables (morador_*, domicilio_*, despesa_*, consumo_*, etc.) | none |
 | `br_inep_ana` | aluno, escola, prova | dicionario |
 | `br_inep_censo_escolar` | docente, matricula | dicionario, escola, turma |
 | `br_inep_formacao_docente` | brasil, escola, municipio, regiao, uf | dicionario |
@@ -238,8 +261,7 @@ Basedosdados.org has **765 tables** on BigQuery, but only **533** are on S3 (and
 | `br_inep_indicadores_educacionais` | escola_nivel_socioeconomico, fluxo_educacao_superior | all others |
 | `br_inmet_bdmep` | estacao | microdados |
 | `br_me_caged` | microdados_antigos, microdados_antigos_ajustes | dicionario, microdados_movimentacao* |
-| `br_me_cno` | microdados, microdados_cnae, microdados_vinculo | dicionario, microdados |
-| `br_me_rais` | all tables | dicionario, microdados_estabelecimentos, microdados_vinculos |
+| `br_me_cno` | microdados_cnae, microdados_vinculo | dicionario, microdados |
 | `br_mec_prouni` | microdados | dicionario |
 | `br_ms_sim` | municipio, municipio_causa, municipio_causa_idade, municipio_causa_idade_sexo_raca | dicionario, microdados |
 | `br_ms_sinan` | microdados_violencia | dicionario, microdados_dengue, microdados_influenza_srag |
@@ -247,3 +269,13 @@ Basedosdados.org has **765 tables** on BigQuery, but only **533** are on S3 (and
 | `br_seeg_emissoes` | brasil | dicionario, municipio, uf |
 | `br_tse_eleicoes` | local_secao | all others |
 | `world_oecd_pisa` | dictionary, school_summary, student_summary | student |
+
+### Tables that don't exist in BigQuery (3)
+
+These were listed in datasets_to_scrap but actually don't exist in `basedosdados`:
+
+| Dataset | Table |
+|---------|-------|
+| `br_bcb_sicor` | microdados_liberacao |
+| `br_bcb_sicor` | microdados_operacao |
+| `br_bcb_sicor` | microdados_saldo |

tasks/missing_tables.txt

@@ -0,0 +1,270 @@
+br_abrinq_oca.municipio_primeira_infancia
+br_ana_atlas_esgotos.municipio
+br_ana_reservatorios.sin
+br_anvisa_medicamentos_industrializados.microdados
+br_ba_feiradesantana_camara_leis.microdados
+br_bd_diretorios_data_tempo.ano
+br_bd_diretorios_data_tempo.bimestre
+br_bd_diretorios_data_tempo.data
+br_bd_diretorios_data_tempo.dia
+br_bd_diretorios_data_tempo.hora
+br_bd_diretorios_data_tempo.mes
+br_bd_diretorios_data_tempo.minuto
+br_bd_diretorios_data_tempo.segundo
+br_bd_diretorios_data_tempo.semestre
+br_bd_diretorios_data_tempo.tempo
+br_bd_diretorios_data_tempo.trimestre
+br_bd_metadados.bigquery_tables
+br_bd_metadados.external_links
+br_bd_metadados.information_requests
+br_bd_metadados.organizations
+br_bd_metadados.prefect_flow_runs
+br_bd_metadados.resources
+br_bd_metadados.tables
+br_bd_vizinhanca.municipio
+br_bd_vizinhanca.uf
+br_caixa_sorteios.megasena
+br_camara_dados_abertos.deputado
+br_camara_dados_abertos.deputado_ocupacao
+br_camara_dados_abertos.deputado_profissao
+br_camara_dados_abertos.despesa
+br_camara_dados_abertos.evento
+br_camara_dados_abertos.evento_orgao
+br_camara_dados_abertos.evento_presenca_deputado
+br_camara_dados_abertos.evento_requerimento
+br_camara_dados_abertos.frente
+br_camara_dados_abertos.frente_deputado
+br_camara_dados_abertos.funcionario
+br_camara_dados_abertos.legislatura
+br_camara_dados_abertos.legislatura_mesa
+br_camara_dados_abertos.licitacao
+br_camara_dados_abertos.licitacao_contrato
+br_camara_dados_abertos.licitacao_item
+br_camara_dados_abertos.licitacao_pedido
+br_camara_dados_abertos.licitacao_proposta
+br_camara_dados_abertos.orgao
+br_camara_dados_abertos.orgao_deputado
+br_camara_dados_abertos.proposicao_autor
+br_camara_dados_abertos.proposicao_microdados
+br_camara_dados_abertos.proposicao_tema
+br_camara_dados_abertos.sigla_partido
+br_camara_dados_abertos.votacao
+br_camara_dados_abertos.votacao_objeto
+br_camara_dados_abertos.votacao_orientacao_bancada
+br_camara_dados_abertos.votacao_parlamentar
+br_camara_dados_abertos.votacao_proposicao
+br_capes_bolsas.mobilidade_internacional
+br_cgu_ebt.municipio
+br_cgu_ebt.uf
+br_cgu_fef.microdados
+br_cgu_fef.municipios_sorteados
+br_cgu_fef.sorteio
+br_cgu_pessoal_executivo_federal.terceirizados
+br_clp_ranking_competitividade.nota_geral_municipio
+br_clp_ranking_competitividade.nota_geral_uf
+br_cnj_estatisticas_poder_judiciario.recursos_financeiros
+br_fbsp_absp.municipio
+br_fbsp_absp.uf
+br_fbsp_absp.violencia_escola
+br_firjan_ifgf.ranking
+br_ggb_relatorio_lgbtqi.brasil
+br_ggb_relatorio_lgbtqi.causa_obito
+br_ggb_relatorio_lgbtqi.grupo_lgbtqia
+br_ggb_relatorio_lgbtqi.local
+br_ggb_relatorio_lgbtqi.raca_cor
+br_ibge_amc.municipio_de_para
+br_ibge_cbo_2002.perfil_ocupacional
+br_ibge_cbo_2002.sinonimo
+br_ibge_estadic.comunicacao_informatica
+br_ibge_estadic.dicionario
+br_ibge_estadic.educacao
+br_ibge_estadic.governanca
+br_ibge_estadic.indicadores_perfil_gestor
+br_ibge_estadic.indicadores_quantidade_vinculo
+br_ibge_estadic.politica_mulher
+br_ibge_estadic.recursos_humanos
+br_ibge_ipp.mes_categoria_economica
+br_ibge_ipp.mes_grupo_industrial
+br_ibge_ipp.mes_industria_atividade
+br_ibge_ipp.mes_industria_extrativa
+br_ibge_ipp.mes_industria_geral
+br_ibge_ipp.mes_industria_transformacao
+br_ibge_munic.indicadores_perfil_gestor
+br_ibge_munic.indicadores_quantidade_vinculo
+br_ibge_nomes_brasil.quantidade_municipio_nome_2010
+br_ieps_saude.brasil
+br_ieps_saude.macrorregiao
+br_ieps_saude.municipio
+br_ieps_saude.regiao_saude
+br_ieps_saude.uf
+br_imprensa_nacional_dou.secao_1
+br_imprensa_nacional_dou.secao_2
+br_imprensa_nacional_dou.secao_3
+br_ipea_acesso_oportunidades.estatisticas_2019
+br_ipea_acesso_oportunidades.indicadores_2019
+br_mapbiomas_estatisticas.classe
+br_mapbiomas_estatisticas.cobertura_municipio_classe
+br_mapbiomas_estatisticas.cobertura_uf_classe
+br_mapbiomas_estatisticas.transicao_municipio_de_para_anual
+br_mapbiomas_estatisticas.transicao_municipio_de_para_decenal
+br_mapbiomas_estatisticas.transicao_municipio_de_para_quinquenal
+br_mapbiomas_estatisticas.transicao_uf_de_para_anual
+br_mapbiomas_estatisticas.transicao_uf_de_para_decenal
+br_mapbiomas_estatisticas.transicao_uf_de_para_quinquenal
+br_mc_indicadores.transferencias_municipio
+br_me_clima_organizacional.microdados
+br_me_estoque_divida_publica.microdados
+br_me_exportadoras_importadoras.dicionario
+br_me_exportadoras_importadoras.estabelecimentos
+br_me_pensionistas.microdados
+br_me_siape.servidores_executivo_federal
+br_me_siorg.remuneracao
+br_mma_extincao.fauna_ameacada
+br_mma_extincao.flora_ameacada
+br_mobilidados_indicadores.comprometimento_renda_tarifa_transp_publico
+br_mobilidados_indicadores.divisao_modal
+br_mobilidados_indicadores.emissao_co2_material_particulado
+br_mobilidados_indicadores.proporcao_domicilios_infra_urbana
+br_mobilidados_indicadores.proporcao_mortes_negras_acidente_transporte
+br_mobilidados_indicadores.proporcao_pessoas_prox_infra_cicloviaria
+br_mobilidados_indicadores.proporcao_pessoas_proximas_pnt
+br_mobilidados_indicadores.taxa_motorizacao
+br_mobilidados_indicadores.tempo_deslocamento_casa_trabalho
+br_mobilidados_indicadores.transporte_media_alta_capacidade
+br_ms_atencao_basica.municipio
+br_ms_imunizacoes.municipio
+br_ons_energia_armazenada.subsistemas
+br_rj_rio_de_janeiro_ipp_ips.dimensoes_componentes
+br_rj_rio_de_janeiro_ipp_ips.indicadores
+br_rj_tce_iegm.indicadores
+br_senado_cpipandemia.discursos
+br_sgp_informacao.despesas_cartao_corporativo
+br_sp_alesp.assessores_lideranca
+br_sp_alesp.assessores_parlamentares
+br_sp_alesp.deputado
+br_sp_alesp.despesas_gabinete
+br_sp_alesp.despesas_gabinete_atual
+br_sp_gov_orcamento.despesa
+br_sp_gov_orcamento.receita_arrecadada
+br_sp_gov_orcamento.receita_prevista
+br_sp_gov_ssp.ocorrencias_registradas
+br_sp_gov_ssp.produtividade_policial
+br_sp_saopaulo_dieese_icv.ano
+br_sp_seduc_fluxo_escolar.escola
+br_sp_seduc_fluxo_escolar.municipio
+br_sp_seduc_idesp.diretoria
+br_sp_seduc_idesp.escola
+br_sp_seduc_idesp.uf
+br_sp_seduc_inse.escola
+br_tpe_classificacao_saeb.categoria
+eu_fra_lgbt.consciencia_direitos
+eu_fra_lgbt.cotidiano
+eu_fra_lgbt.discriminacao
+eu_fra_lgbt.especifico_transgenero
+eu_fra_lgbt.violencia_abuso
+mundo_bm_learning_poverty.pais
+mundo_kaggle_olimpiadas.microdados
+mundo_onu_adh.brasil
+mundo_onu_adh.municipio
+mundo_onu_adh.uf
+mundo_transrespect_transphobia.causa_obito
+mundo_transrespect_transphobia.local
+mundo_transrespect_transphobia.pais
+nl_ug_pwt.microdados
+world_fao_production.country_group
+world_fao_production.crop_livestock
+world_fao_production.dictionary
+world_fao_production.element
+world_fao_production.item
+world_fao_production.item_group
+world_fao_production.production_indices
+world_fao_production.value_agricultural_production
+world_fifa_women_world_cup.matches
+world_fifa_worldcup.award_winners
+world_fifa_worldcup.matches
+world_fifa_worldcup.players
+world_fifa_worldcup.teams
+world_fifa_worldcup.tournaments
+world_gsps_consortium_gsps.global_indicators
+world_slave_voyages_consortium_slave_trade.transatlantic
+world_spi_spi.global_indicators
+world_ti_corruption_perception.country
+world_wb_wwbi.country_finance
+world_wb_wwbi.country_indicators
+br_anatel_banda_larga_fixa.backhaul
+br_anatel_banda_larga_fixa.pble
+br_bcb_sicor.microdados_liberacao
+br_bcb_sicor.microdados_operacao
+br_bcb_sicor.microdados_saldo
+br_bcb_taxa_cambio.taxa_cambio
+br_bcb_taxa_selic.taxa_selic
+br_ibge_pib.brasil_antigo
+br_ibge_pib.municipio_antigo
+br_ibge_pib.regiao_antigo
+br_ibge_pib.uf
+br_ibge_pib.uf_antigo
+br_ibge_pnad_covid.microdados
+br_ibge_pnadc.ano_brasil_grupo_idade
+br_ibge_pnadc.ano_brasil_raca_cor
+br_ibge_pnadc.ano_municipio_grupo_idade
+br_ibge_pnadc.ano_municipio_raca_cor
+br_ibge_pnadc.ano_regiao_grupo_idade
+br_ibge_pnadc.ano_regiao_metropolitana_grupo_idade
+br_ibge_pnadc.ano_regiao_metropolitana_raca_cor
+br_ibge_pnadc.ano_regiao_raca_cor
+br_ibge_pnadc.ano_uf_grupo_idade
+br_ibge_pnadc.ano_uf_raca_cor
+br_ibge_pof.aluguel_estimado_2017
+br_ibge_pof.cadastro_de_produtos_2017
+br_ibge_pof.caderneta_coletiva_2017
+br_ibge_pof.caracteristicas_dieta_2017
+br_ibge_pof.condicoes_vida_2017
+br_ibge_pof.consumo_alimentar_2017
+br_ibge_pof.despesa_coletiva_2017
+br_ibge_pof.despesa_individual_2017
+br_ibge_pof.domicilio_2017
+br_ibge_pof.inventario_2017
+br_ibge_pof.morador_2017
+br_ibge_pof.outros_rendimentos_2017
+br_ibge_pof.rendimento_trabalho_2017
+br_ibge_pof.restricao_saude_2017
+br_ibge_pof.servico_nao_monetario_pof2_2017
+br_ibge_pof.servico_nao_monetario_pof4_2017
+br_inep_ana.aluno
+br_inep_ana.escola
+br_inep_ana.prova
+br_inep_censo_escolar.docente
+br_inep_censo_escolar.matricula
+br_inep_formacao_docente.brasil
+br_inep_formacao_docente.escola
+br_inep_formacao_docente.municipio
+br_inep_formacao_docente.regiao
+br_inep_formacao_docente.uf
+br_inep_indicador_nivel_socioeconomico.brasil
+br_inep_indicador_nivel_socioeconomico.municipio
+br_inep_indicador_nivel_socioeconomico.uf
+br_inep_indicadores_educacionais.escola_nivel_socioeconomico
+br_inep_indicadores_educacionais.fluxo_educacao_superior
+br_inmet_bdmep.estacao
+br_me_caged.microdados_antigos
+br_me_caged.microdados_antigos_ajustes
+br_me_cno.microdados_cnae
+br_me_cno.microdados_vinculo
+br_me_rais.dicionario
+br_me_rais.microdados_estabelecimentos
+br_me_rais.microdados_vinculos
+br_mec_prouni.microdados
+br_ms_sim.municipio
+br_ms_sim.municipio_causa
+br_ms_sim.municipio_causa_idade
+br_ms_sim.municipio_causa_idade_sexo_raca
+br_ms_sinan.microdados_violencia
+br_ms_vacinacao_covid19.microdados
+br_ms_vacinacao_covid19.microdados_estabelecimento
+br_ms_vacinacao_covid19.microdados_paciente
+br_ms_vacinacao_covid19.microdados_vacinacao
+br_seeg_emissoes.brasil
+br_tse_eleicoes.local_secao
+world_oecd_pisa.dictionary
+world_oecd_pisa.school_summary
+world_oecd_pisa.student_summary

tasks/pending_tables.txt

@@ -0,0 +1,2 @@
+br_bcb_taxa_cambio.taxa_cambio
+br_bcb_taxa_selic.taxa_selic

tasks/views_to_materialize.txt

@@ -0,0 +1,229 @@
+br_abrinq_oca.municipio_primeira_infancia
+br_ana_atlas_esgotos.municipio
+br_ana_reservatorios.sin
+br_anvisa_medicamentos_industrializados.microdados
+br_ba_feiradesantana_camara_leis.microdados
+br_bd_diretorios_data_tempo.ano
+br_bd_diretorios_data_tempo.bimestre
+br_bd_diretorios_data_tempo.data
+br_bd_diretorios_data_tempo.dia
+br_bd_diretorios_data_tempo.hora
+br_bd_diretorios_data_tempo.mes
+br_bd_diretorios_data_tempo.minuto
+br_bd_diretorios_data_tempo.segundo
+br_bd_diretorios_data_tempo.semestre
+br_bd_diretorios_data_tempo.tempo
+br_bd_diretorios_data_tempo.trimestre
+br_bd_metadados.external_links
+br_bd_metadados.information_requests
+br_bd_metadados.organizations
+br_bd_metadados.resources
+br_bd_metadados.tables
+br_bd_vizinhanca.municipio
+br_bd_vizinhanca.uf
+br_caixa_sorteios.megasena
+br_camara_dados_abertos.sigla_partido
+br_capes_bolsas.mobilidade_internacional
+br_cgu_ebt.municipio
+br_cgu_ebt.uf
+br_cgu_fef.microdados
+br_cgu_fef.municipios_sorteados
+br_cgu_fef.sorteio
+br_cgu_pessoal_executivo_federal.terceirizados
+br_clp_ranking_competitividade.nota_geral_municipio
+br_clp_ranking_competitividade.nota_geral_uf
+br_cnj_estatisticas_poder_judiciario.recursos_financeiros
+br_fbsp_absp.municipio
+br_firjan_ifgf.ranking
+br_ggb_relatorio_lgbtqi.brasil
+br_ggb_relatorio_lgbtqi.causa_obito
+br_ggb_relatorio_lgbtqi.grupo_lgbtqia
+br_ggb_relatorio_lgbtqi.local
+br_ggb_relatorio_lgbtqi.raca_cor
+br_ibge_amc.municipio_de_para
+br_ibge_cbo_2002.perfil_ocupacional
+br_ibge_cbo_2002.sinonimo
+br_ibge_estadic.comunicacao_informatica
+br_ibge_estadic.educacao
+br_ibge_estadic.governanca
+br_ibge_estadic.indicadores_perfil_gestor
+br_ibge_estadic.indicadores_quantidade_vinculo
+br_ibge_estadic.politica_mulher
+br_ibge_estadic.recursos_humanos
+br_ibge_ipp.mes_categoria_economica
+br_ibge_ipp.mes_grupo_industrial
+br_ibge_ipp.mes_industria_atividade
+br_ibge_ipp.mes_industria_extrativa
+br_ibge_ipp.mes_industria_geral
+br_ibge_ipp.mes_industria_transformacao
+br_ibge_munic.indicadores_perfil_gestor
+br_ibge_munic.indicadores_quantidade_vinculo
+br_ibge_nomes_brasil.quantidade_municipio_nome_2010
+br_ibge_pib.brasil_antigo
+br_ibge_pib.municipio_antigo
+br_ibge_pib.regiao_antigo
+br_ibge_pib.uf
+br_ibge_pib.uf_antigo
+br_ibge_pnad_covid.microdados
+br_ibge_pnadc.ano_brasil_grupo_idade
+br_ibge_pnadc.ano_brasil_raca_cor
+br_ibge_pnadc.ano_municipio_grupo_idade
+br_ibge_pnadc.ano_municipio_raca_cor
+br_ibge_pnadc.ano_regiao_grupo_idade
+br_ibge_pnadc.ano_regiao_metropolitana_grupo_idade
+br_ibge_pnadc.ano_regiao_metropolitana_raca_cor
+br_ibge_pnadc.ano_regiao_raca_cor
+br_ibge_pnadc.ano_uf_grupo_idade
+br_ibge_pnadc.ano_uf_raca_cor
+br_ibge_pof.aluguel_estimado_2017
+br_ibge_pof.cadastro_de_produtos_2017
+br_ibge_pof.caderneta_coletiva_2017
+br_ibge_pof.caracteristicas_dieta_2017
+br_ibge_pof.condicoes_vida_2017
+br_ibge_pof.consumo_alimentar_2017
+br_ibge_pof.despesa_coletiva_2017
+br_ibge_pof.despesa_individual_2017
+br_ibge_pof.domicilio_2017
+br_ibge_pof.inventario_2017
+br_ibge_pof.morador_2017
+br_ibge_pof.outros_rendimentos_2017
+br_ibge_pof.rendimento_trabalho_2017
+br_ibge_pof.restricao_saude_2017
+br_ibge_pof.servico_nao_monetario_pof2_2017
+br_ibge_pof.servico_nao_monetario_pof4_2017
+br_ieps_saude.brasil
+br_ieps_saude.macrorregiao
+br_ieps_saude.municipio
+br_ieps_saude.regiao_saude
+br_ieps_saude.uf
+br_imprensa_nacional_dou.secao_1
+br_imprensa_nacional_dou.secao_2
+br_imprensa_nacional_dou.secao_3
+br_ipea_acesso_oportunidades.estatisticas_2019
+br_ipea_acesso_oportunidades.indicadores_2019
+br_mapbiomas_estatisticas.classe
+br_mapbiomas_estatisticas.cobertura_municipio_classe
+br_mapbiomas_estatisticas.cobertura_uf_classe
+br_mapbiomas_estatisticas.transicao_municipio_de_para_anual
+br_mapbiomas_estatisticas.transicao_municipio_de_para_decenal
+br_mapbiomas_estatisticas.transicao_municipio_de_para_quinquenal
+br_mapbiomas_estatisticas.transicao_uf_de_para_anual
+br_mapbiomas_estatisticas.transicao_uf_de_para_decenal
+br_mapbiomas_estatisticas.transicao_uf_de_para_quinquenal
+br_mc_indicadores.transferencias_municipio
+br_me_caged.microdados_antigos
+br_me_caged.microdados_antigos_ajustes
+br_me_clima_organizacional.microdados
+br_me_cno.microdados_cnae
+br_me_cno.microdados_vinculo
+br_me_estoque_divida_publica.microdados
+br_me_exportadoras_importadoras.dicionario
+br_me_exportadoras_importadoras.estabelecimentos
+br_me_pensionistas.microdados
+br_me_siape.servidores_executivo_federal
+br_me_siorg.remuneracao
+br_mec_prouni.microdados
+br_mma_extincao.fauna_ameacada
+br_mma_extincao.flora_ameacada
+br_mobilidados_indicadores.comprometimento_renda_tarifa_transp_publico
+br_mobilidados_indicadores.divisao_modal
+br_mobilidados_indicadores.emissao_co2_material_particulado
+br_mobilidados_indicadores.proporcao_domicilios_infra_urbana
+br_mobilidados_indicadores.proporcao_mortes_negras_acidente_transporte
+br_mobilidados_indicadores.proporcao_pessoas_prox_infra_cicloviaria
+br_mobilidados_indicadores.proporcao_pessoas_proximas_pnt
+br_mobilidados_indicadores.taxa_motorizacao
+br_mobilidados_indicadores.tempo_deslocamento_casa_trabalho
+br_mobilidados_indicadores.transporte_media_alta_capacidade
+br_ms_atencao_basica.municipio
+br_ms_imunizacoes.municipio
+br_ms_sim.municipio
+br_ms_sim.municipio_causa
+br_ms_sim.municipio_causa_idade
+br_ms_sim.municipio_causa_idade_sexo_raca
+br_ms_sinan.microdados_violencia
+br_ms_vacinacao_covid19.microdados
+br_ms_vacinacao_covid19.microdados_estabelecimento
+br_ms_vacinacao_covid19.microdados_paciente
+br_ms_vacinacao_covid19.microdados_vacinacao
+br_ons_energia_armazenada.subsistemas
+br_rj_rio_de_janeiro_ipp_ips.dimensoes_componentes
+br_rj_rio_de_janeiro_ipp_ips.indicadores
+br_rj_tce_iegm.indicadores
+br_seeg_emissoes.brasil
+br_senado_cpipandemia.discursos
+br_sgp_informacao.despesas_cartao_corporativo
+br_sp_alesp.assessores_lideranca
+br_sp_alesp.assessores_parlamentares
+br_sp_alesp.deputado
+br_sp_alesp.despesas_gabinete
+br_sp_alesp.despesas_gabinete_atual
+br_sp_gov_orcamento.despesa
+br_sp_gov_orcamento.receita_arrecadada
+br_sp_gov_orcamento.receita_prevista
+br_sp_gov_ssp.ocorrencias_registradas
+br_sp_gov_ssp.produtividade_policial
+br_sp_saopaulo_dieese_icv.ano
+br_sp_seduc_fluxo_escolar.escola
+br_sp_seduc_fluxo_escolar.municipio
+br_sp_seduc_idesp.diretoria
+br_sp_seduc_idesp.escola
+br_sp_seduc_idesp.uf
+br_sp_seduc_inse.escola
+br_tpe_classificacao_saeb.categoria
+br_tse_eleicoes.local_secao
+eu_fra_lgbt.consciencia_direitos
+eu_fra_lgbt.cotidiano
+eu_fra_lgbt.discriminacao
+eu_fra_lgbt.especifico_transgenero
+eu_fra_lgbt.violencia_abuso
+mundo_bm_learning_poverty.pais
+mundo_kaggle_olimpiadas.microdados
+mundo_onu_adh.brasil
+mundo_onu_adh.municipio
+mundo_onu_adh.uf
+mundo_transrespect_transphobia.causa_obito
+mundo_transrespect_transphobia.local
+mundo_transrespect_transphobia.pais
+nl_ug_pwt.microdados
+world_fao_production.country_group
+world_fao_production.crop_livestock
+world_fao_production.dictionary
+world_fao_production.element
+world_fao_production.item
+world_fao_production.item_group
+world_fao_production.production_indices
+world_fao_production.value_agricultural_production
+world_fifa_women_world_cup.matches
+world_fifa_worldcup.award_winners
+world_fifa_worldcup.matches
+world_fifa_worldcup.players
+world_fifa_worldcup.teams
+world_fifa_worldcup.tournaments
+world_gsps_consortium_gsps.global_indicators
+world_oecd_pisa.dictionary
+world_oecd_pisa.school_summary
+world_oecd_pisa.student_summary
+world_slave_voyages_consortium_slave_trade.transatlantic
+world_spi_spi.global_indicators
+world_ti_corruption_perception.country
+world_wb_wwbi.country_finance
+world_wb_wwbi.country_indicators
+br_anatel_banda_larga_fixa.backhaul
+br_anatel_banda_larga_fixa.pble
+br_inep_ana.aluno
+br_inep_ana.escola
+br_inep_ana.prova
+br_inep_censo_escolar.docente
+br_inep_censo_escolar.matricula
+br_inep_formacao_docente.brasil
+br_inep_formacao_docente.escola
+br_inep_formacao_docente.municipio
+br_inep_formacao_docente.regiao
+br_inep_formacao_docente.uf
+br_inep_indicador_nivel_socioeconomico.brasil
+br_inep_indicador_nivel_socioeconomico.municipio
+br_inep_indicador_nivel_socioeconomico.uf
+br_inep_indicadores_educacionais.escola_nivel_socioeconomico
+br_inep_indicadores_educacionais.fluxo_educacao_superior
+br_inmet_bdmep.estacao