O arcabouço proposto de Aprendizagem Contínua Homoicônica (HCL) traça uma analogia estruturalmente convincente, mas imperfeita, entre o avaliador metacircular do Lisp e a aprendizagem contínua neural. O mapeamento se encaixa melhor em arquiteturas de núcleo congelado baseadas em LoRA e na aprendizagem em contexto (em que os transformers comprovadamente implementam descida do gradiente na passagem direta), é moderadamente forte para hypernetworks como geradoras de pesos e fica mais fraco nas afirmações sobre reversibilidade. O vocabulário específico Lisp→neural não aparece em publicações anteriores, mas os mecanismos por trás dele (matrizes de pesos auto-referenciais, núcleos congelados com deltas composicionais, algoritmos de aprendizagem contínua meta-aprendidos) estão bem estabelecidos no programa de pesquisa de 30 anos de Schmidhuber. A contribuição real do arcabouço está em juntar esses fios sob uma lente de teoria de linguagens de programação com princípios claros. Para não ficar só numa metáfora sugestiva, ele precisa de fundamento categórico formal e de algoritmos concretos que superem os métodos existentes.

1. O avaliador metacircular como ponto fixo computacional

A âncora teórica do HCL é o avaliador metacircular do Capítulo 4 de Structure and Interpretation of Computer Programs, de Abelson & Sussman (MIT Press, 1996). O ciclo eval/apply define um ponto fixo semântico: um interpretador Lisp escrito em Lisp, em que eval despacha expressões para regras de avaliação e apply executa procedimentos sobre argumentos. Nas palavras do SICP, “expressões a serem avaliadas em ambientes reduzem-se a procedimentos a serem aplicados a argumentos, que por sua vez reduzem-se a novas expressões a serem avaliadas em novos ambientes”. O avaliador inteiro cabe em mais ou menos uma página de código e mesmo assim define a semântica completa do Scheme.

O conceito vem do artigo de McCarthy de 1960 no Communications of the ACM, em que a S-função universal apply desempenhava “o papel teórico de uma máquina de Turing universal e o papel prático de um interpretador”. Reynolds (1972) cunhou o termo “metacircular” e classificou sistematicamente os interpretadores definicionais. A propriedade que importa para o HCL é a homoiconicidade: código e dados compartilham a mesma representação (S-expressions), e isso permite que programas inspecionem e modifiquem a si mesmos. A programação genética de Koza (1992) explorou isso diretamente. Programas representados como árvores de S-expressions passam por crossover e mutação como se fossem dados, e a ideia de código modificando código vira literal.

O análogo neural dessa propriedade foi formulado explicitamente por Irie, Schlag, Csordás & Schmidhuber (ICML 2022, arXiv:2202.05780): “A matriz de pesos de uma rede neural é seu programa.” A Self-Referential Weight Matrix (SRWM) deles usa produtos externos e a regra de atualização delta para se modificar em tempo de execução, inclusive nas partes responsáveis pela modificação. É a arquitetura neural existente mais próxima de um avaliador metacircular. A “self-referential weight matrix” original de Schmidhuber, de 1993 (ICANN 1993), estabeleceu o conceito, e Kirsch & Schmidhuber (2022) formalizaram arquiteturas auto-referenciais que controlam todas as próprias variáveis, provando que elas são estritamente mais expressivas do que arquiteturas com memória sem meta-otimização.

2. Esquecimento catastrófico e o panorama da aprendizagem contínua

O esquecimento catastrófico, a tendência de redes neurais sobrescreverem o que já aprenderam quando são treinadas em tarefas novas, foi identificado por McCloskey & Cohen (1989) e continua sendo o desafio central da aprendizagem contínua. O campo desenvolveu seis grandes abordagens, e cada uma se relaciona de um jeito diferente com a arquitetura HCL.

Métodos baseados em regularização restringem as atualizações de pesos para preservar conhecimento anterior. O Elastic Weight Consolidation (Kirkpatrick et al., PNAS 2017, arXiv:1612.00796) adiciona uma penalidade quadrática ponderada pela Matriz de Informação de Fisher: L(θ) = L_new(θ) + Σᵢ (λ/2) Fᵢ(θᵢ − θ*ᵢ)². O EWC trata todos os pesos como parte de um único programa mutável, o oposto do princípio de núcleo congelado do HCL. As limitações dele são bem documentadas: o número de termos de regularização cresce linearmente com as tarefas, a aproximação de Laplace subestima a importância dos parâmetros (Huszár 2018) e o desempenho degenera depois de cerca de 18 tarefas no Permuted MNIST.

Métodos baseados em arquitetura se alinham melhor ao HCL. Progressive Neural Networks (Rusu et al. 2016, arXiv:1606.04671) congelam as colunas anteriores e adicionam novas com conexões laterais. São imunes ao esquecimento por construção, mas os parâmetros crescem em O(k²). PackNet (Mallya & Lazebnik, CVPR 2018) poda e congela subconjuntos de pesos por tarefa, usando máscaras binárias como “deltas” sobre uma rede compartilhada. Dynamically Expandable Networks (Yoon et al., ICLR 2018) re-treinam, expandem e dividem neurônios seletivamente, e chegam ao desempenho de um modelo batch com 12% a 60% dos parâmetros.

Métodos baseados em replay armazenam ou regeneram exemplos passados. O GEM (Lopez-Paz & Ranzato, NeurIPS 2017) formalizou as métricas centrais do campo: Acurácia Média (ACC), Transferência Retroativa (BWT, negativa = esquecimento) e Transferência Prospectiva (FWT). O iCaRL (Rebuffi et al., CVPR 2017) combina armazenamento de exemplares com destilação de conhecimento. O Dark Experience Replay (Buzzega et al., NeurIPS 2020) armazena e destila logits junto com os exemplos.

O paradigma existente mais alinhado ao HCL é a aprendizagem contínua baseada em LoRA. O LoRA (Hu et al., ICLR 2022, arXiv:2106.09685) congela os pesos pré-treinados W₀ e aprende atualizações de posto baixo ΔW = BA com posto r ≪ min(d,k). Isso implementa diretamente o núcleo congelado + deltas composicionais do HCL: cada tarefa ganha seu próprio par (Aₜ, Bₜ), e trocar de tarefa é trocar pequenos módulos adaptadores. Biderman et al. (2024, arXiv:2405.09673) mostraram que “LoRA aprende menos e esquece menos”. A restrição de posto baixo funciona como regularização implícita contra o esquecimento.

3. A explosão da aprendizagem contínua baseada em LoRA (2023 a 2025)

Entre 2023 e 2025 apareceu uma leva de variantes de LoRA para aprendizagem contínua, todas implementando variações da arquitetura de núcleo congelado do HCL:

  • O-LoRA (Wang et al., EMNLP 2023 Findings, arXiv:2310.14152) aprende tarefas em subespaços ortogonais de posto baixo, eliminando interferência sem replay
  • InfLoRA (Liang & Li, CVPR 2024) projeta matrizes B para subespaços ortogonais às direções de gradiente de tarefas anteriores, com capacidade limitada por T ≤ ⌊d/r⌋
  • BiLoRA (Zhu et al., CVPR 2025) obtém taxas de colisão quadraticamente menores via separação bilinear de tarefas por frequência, atingindo 87,46% no CIFAR-100 contra 91,92% do treinamento conjunto
  • TreeLoRA (ICML 2025) usa árvores hierárquicas de similaridade de gradiente para alocar LoRA camada a camada
  • LiLoRA (arXiv:2508.06202, 2025) compartilha a matriz A entre tarefas e aplica uma decomposição de posto baixo adicional sobre B, o que resulta numa composição hierárquica de deltas
  • KeepLoRA (arXiv:2601.19659, 2026) projeta atualizações de gradiente em subespaços residuais ortogonais tanto ao subespaço principal pré-treinado quanto às direções de tarefas anteriores

Esses métodos validam a afirmação arquitetural central do HCL: um modelo pré-treinado congelado, com deltas de pesos de posto baixo por tarefa que são composicionais, armazenáveis, intercambiáveis e reversíveis, é uma arquitetura eficaz de aprendizagem contínua. As variantes ortogonais (O-LoRA, InfLoRA, BiLoRA) acrescentam uma propriedade crítica, a de que atualizações específicas de cada tarefa não interferem entre si, e com isso chegam perto do ideal de conhecimento de tarefa não destrutivo e reconstruível.

A aritmética de tarefas (Ilharco et al., ICLR 2023, arXiv:2212.04089) dá o complemento algébrico: vetores de tarefa τₜ = θₜ − θ₀ podem ser somados (multitarefa), negados (desaprender) e compostos por analogia. Chitale et al. (NeurIPS 2023 Workshop, arXiv:2311.02428) aplicaram aritmética de tarefas no espaço LoRA para aprendizagem contínua, implementando diretamente a “reconstrução a partir do núcleo + deltas armazenados” do HCL. O MagMax (Marczak et al., ECCV 2024) mostrou que uma simples seleção de pesos por magnitude máxima durante o fine-tuning sequencial supera muitos métodos dedicados de CL.

4. Hypernetworks como interpretadores neurais que geram programas-peso

Hypernetworks (Ha, Dai & Le, ICLR 2017, arXiv:1609.09106) têm um paralelo estrutural direto com eval/apply: uma rede pequena (a hypernetwork, no papel de eval) recebe uma descrição de tarefa e gera pesos (programas) para uma rede alvo (apply). A rede alvo então executa esses pesos sobre as entradas para produzir as saídas.

Von Oswald, Henning, Grewe & Sacramento (ICLR 2020, arXiv:1906.00695) aplicaram isso à aprendizagem contínua com resultados impressionantes. A hypernetwork condicionada à tarefa que eles propõem gera os pesos completos da rede alvo a partir de embeddings de tarefa: θₜ = h(eₜ; φ). Em vez de ensaiar dados, o sistema ensaia configurações de pesos: um regularizador força h(eᵢ; φ) a ficar próximo de realizações de pesos já computadas. Com isso se chega a um regime compressivo, em que a hypernetwork pode ter menos parâmetros que a rede alvo e ainda guardar memórias de muitas tarefas. A biblioteca hypnettorch (github.com/chrhenning/hypnettorch) e o repositório hypercl (github.com/chrhenning/hypercl) têm implementações em PyTorch.

Entre as extensões recentes estão hypernetworks parciais para CL (Hemati et al., PMLR 2023), HyperPEFT para aprendizagem contínua baseada em ViT (Information Sciences, 2024) e a reformulação provocativa da atenção como hypernetwork (ICLR 2025): as interações chave-query especificam um código latente de baixa dimensão que parametriza operações da rede de valores, o que viabiliza generalização composicional em raciocínio abstrato.

A analogia com a avaliação metacircular se sustenta de várias formas. Os dois sistemas separam o “interpretador” (hypernetwork/eval) dos “programas” interpretados (pesos gerados/expressões). Os dois generalizam por meio de um núcleo computacional compartilhado. E os dois exibem uma forma de homoiconicidade, já que os pesos gerados são ao mesmo tempo dados (saída da hypernetwork) e programas (parâmetros executáveis da rede alvo).

Onde ela quebra: hypernetworks não interpretam de verdade a si mesmas. O avaliador metacircular é especial porque interpretador e interpretado estão na mesma linguagem. A SRWM de Schmidhuber (1993, modernizada em Irie et al. 2022) chega mais perto, ao permitir que uma matriz de pesos se modifique, inclusive nas partes responsáveis pela modificação. Mesmo aí, o treinamento inicial depende de descida do gradiente externa.

5. Aprendizagem em contexto, a evidência mais forte da tese do “interpretador congelado”

O apoio mais convincente à metáfora central do HCL vem da literatura sobre aprendizagem em contexto, que mostra que pesos de transformer congelados implementam algoritmos de aprendizagem adaptativa na passagem direta.

Von Oswald, Niklasson, Randazzo et al. (ICML 2023, arXiv:2212.07677) provaram por construção que uma única camada linear de self-attention implementa um passo de descida do gradiente numa loss de regressão. Empiricamente, transformers de self-attention treinados convergem para essa construção teórica e se tornam meso-otimizadores, que aprendem modelos por descida do gradiente dentro da própria passagem direta. Os pesos congelados são o loop externo (meta-aprendizagem) e a computação na passagem direta é o loop interno (adaptação específica à tarefa). É exatamente a estrutura do HCL: um núcleo metacircular congelado executando programas variáveis.

Akyürek, Schuurmans, Andreas, Ma & Zhou (ICLR 2023, arXiv:2211.15661) mostraram que transformers implementam e transitam entre diferentes algoritmos, como descida do gradiente, regressão ridge e mínimos quadrados exatos, dependendo da profundidade e do ruído, e convergem para estimadores bayesianos em grande largura. Garg, Tsipras, Liang & Valiant (NeurIPS 2022, arXiv:2208.01066) demonstraram aprendizagem em contexto de funções lineares, lineares esparsas, redes neurais e árvores de decisão. Dai et al. (ACL 2023 Findings, arXiv:2212.10559) mostraram que a atenção em transformers tem uma forma dual de descida do gradiente: o modelo pré-treinado age como meta-otimizador e produz meta-gradientes a partir das demonstrações.

O artigo seguinte sobre meso-otimização (von Oswald et al., ICLR 2024, arXiv:2309.05858) aprofundou o quadro: o treinamento padrão de predição do próximo token dá origem a um algoritmo de aprendizagem subsidiário dentro da passagem direta. A análise multicamadas mostrou que as primeiras camadas fazem “token binding” (montam um meso-dataset de associações entrada-saída) e as camadas seguintes fazem a meso-otimização. O ponto mais importante é que o algoritmo de otimização aprendido na passagem direta pode ser reaproveitado em tarefas supervisionadas few-shot, ou seja, o mesmo “interpretador” roda “programas” diferentes.

Li, Ildiz, Papailiopoulos & Oymak (ICML 2023, arXiv:2301.07067) formalizaram isso como aprendizagem de algoritmo: o transformer constrói funções-hipótese no momento da inferência, com limites de generalização via estabilidade algorítmica. O viés indutivo depende da complexidade da tarefa e do número de tarefas de treinamento, não da complexidade do transformer. Na prática, o transformer escolhe um algoritmo adequado à tarefa.

6. A meta-aprendizagem faz a ponte entre adaptação e aprendizagem contínua

O MAML (Finn, Abbeel & Levine, ICML 2017, arXiv:1703.03400) é uma ponte natural. A inicialização meta-aprendida θ codifica capacidade de aprendizagem de propósito geral, um “ponto de partida congelado” a partir do qual passos de gradiente específicos da tarefa produzem adaptação rápida. A estrutura de loop interno e externo espelha o núcleo congelado + deltas específicos à tarefa do HCL, e a equivalência teórica entre MAML e aprendizagem em contexto (von Oswald et al. 2023) torna essa conexão rigorosa para modelos lineares.

O campo de meta-aprendizagem contínua, revisado por Son, Lee & Kim (IEEE TPAMI 2024, arXiv:2311.05241), define cinco arcabouços combinatórios que unem meta-aprendizagem e aprendizagem contínua. O mais relevante aqui é o Meta-Continual Learning (MCL), em que a otimização bi-nível no estilo MAML treina uma inicialização que continua boa para todas as tarefas enquanto o loop interno se adapta a cada uma. Javed & White (NeurIPS 2019) usaram MAML para aprender representações robustas ao esquecimento catastrófico. O MAML-en-LLM (KDD 2024, arXiv:2405.11446) aplica explicitamente a otimização bi-nível do MAML para melhorar a aprendizagem em contexto, com ganhos de 2% a 4%.

O trabalho mais diretamente relevante para o HCL é o Automating Continual Learning (ACL), de Kirsch, Harrison, Sohl-Dickstein & Schmidhuber (TMLR), que usa redes neurais auto-referenciais para meta-aprender em contexto seus próprios algoritmos de aprendizagem contínua. O ACL codifica os desiderata de CL em objetivos de meta-aprendizagem e resolve o “esquecimento catastrófico em contexto”. É um sistema auto-referencial que descobre sua própria estratégia para evitar o esquecimento catastrófico, já implementado e testado em benchmarks.

7. Reversibilidade: a inversão do miniKanren contra as aproximações neurais

A afirmação do HCL de que as atualizações de pesos devem ser “estruturadas e reversíveis, análogas à execução relacional/reversa no miniKanren” é o elo mais fraco do arcabouço. O miniKanren (Friedman, Byrd & Kiselyov, The Reasoned Schemer, MIT Press 2005; tese de doutorado de Byrd na Indiana University, 2009) trata programas como relações matemáticas e elimina a distinção entre entradas e saídas. Byrd, Holk & Friedman (2012) demonstraram geração de quines via interpretadores relacionais, e Byrd, Ballantyne, Rosenblatt & Might (ICFP 2017) mostraram um único interpretador relacional resolvendo sete desafios de programação, incluindo síntese de programas e prova de teoremas. O metaKanren (ICFP 2021 miniKanren Workshop) chegou a um interpretador relacional metacircular, miniKanren interpretando miniKanren, que pode ser executado no sentido reverso para síntese de programas.

A reversibilidade neural funciona num nível fundamentalmente diferente. As RevNets (Gomez, Ren, Urtasun & Grosse, NeurIPS 2017, arXiv:1707.04585) reconstroem ativações via camadas de acoplamento: y₁ = x₁ + F(x₂), y₂ = x₂ + G(y₁), com inverso exato x₂ = y₂ − G(y₁), x₁ = y₁ − F(x₂). A i-RevNet (Jacobsen, Smeulders & Oyallon, ICLR 2018) estende isso a redes totalmente invertíveis, provando que “nenhuma informação é descartada”. Fluxos normalizadores (NICE de Dinh et al. 2014; RealNVP de Dinh et al. 2016; Glow de Kingma & Dhariwal, NeurIPS 2018) fornecem transformações invertíveis com determinantes jacobianos tratáveis. As Invertible Residual Networks (Behrmann et al., ICML 2019, arXiv:1811.00995) provaram que funções residuais com restrição de Lipschitz produzem redes invertíveis.

A ligação com a teoria da computação reversível é forte. Landauer (1961) estabeleceu que operações irreversíveis precisam dissipar energia, e Bennett (1973) provou que qualquer computação pode ser tornada reversível ao custo de memória adicional. Só que reversibilidade neural é invertibilidade numérica de ativações, não reversibilidade lógica do raciocínio. As RevNets reconstroem ativações para treinar com memória eficiente e não conseguem “raciocinar para trás” sobre quais entradas produziriam as saídas desejadas. A execução relacional do miniKanren serve para rodar interpretadores como sintetizadores, uma capacidade qualitativamente diferente que hoje não tem análogo neural de verdade.

A aproximação neural mais próxima da reversibilidade lógica vem dos métodos LoRA ortogonais (O-LoRA, InfLoRA), em que as atualizações de cada tarefa ocupam subespaços separáveis e podem ser adicionadas ou removidas individualmente. O mecanismo merge/unmerge do LoRA (model.eval() funde W₀ + BA, model.train() desfaz a fusão) dá uma reversibilidade aditiva simples. Mas isso é reversibilidade composicional de deltas, não reversibilidade lógica de computação.

8. Arcabouços formais e a ponte pela teoria das categorias

O caminho mais promissor para formalizar o HCL passa pela teoria das categorias. Fong, Spivak & Tuyéras (arXiv:1711.10455, 2019) definiram uma categoria NNet de redes neurais (objetos = dimensões, morfismos = arquiteturas) e mostraram que implementar uma rede neural como aprendiz supervisionado é funtorial: a backpropagation aparece como consequência da functorialidade da regra da cadeia. Isso dá a linguagem matemática para compor sistemas de aprendizagem.

Gavranović et al. (ICML 2024, arXiv:2402.15332) propuseram que “deep learning categórico é uma teoria algébrica de todas as arquiteturas”, usando mônadas em 2-categorias de mapas paramétricos. Gavranović (2020, arXiv:2009.06837) mostrou que funtores (e não só funções) podem ser aprendidos por descida do gradiente, o que estende o arcabouço categórico à meta-aprendizagem.

Para formalizar o HCL categoricamente, seria preciso:

  • Uma categoria Lisp cujos objetos são tipos e morfismos são programas Lisp, com eval como endofuntor
  • Uma categoria Neural cujos objetos são espaços de pesos e morfismos são mapas parametrizados
  • Um funtor F: Lisp → Neural mapeando o avaliador metacircular para o núcleo congelado, programas para deltas de pesos e inversão relacional para redes reversíveis
  • Transformações naturais expressando as condições de coerência entre auto-referência simbólica e neural

Nenhuma formalização desse tipo existe hoje. O survey de Shiebler, Gavranović & Wilson (ACT 2021, arXiv:2106.07032) cobre teoria das categorias em ML de modo geral, mas não trata de aprendizagem contínua. É um problema em aberto de verdade e uma contribuição possível.

O Nested Learning do Google (Behrouz & Mirrokni, NeurIPS 2025) oferece um arcabouço complementar: modelos como problemas de otimização multinível aninhados, em que arquitetura e otimizador são o mesmo conceito visto em níveis diferentes. A arquitetura HOPE deles é uma variante auto-modificável do Titans com um sistema de memória contínua, que atualiza em frequências distintas para cada nível de memória. É o desenvolvimento independente mais próximo da visão auto-referencial multinível do HCL.

9. Onde a analogia se sustenta, onde quebra e o que é novo de fato

Mapeamentos firmes. O padrão de núcleo congelado + deltas composicionais do LoRA se encaixa de forma limpa em eval/apply + programas. A aprendizagem em contexto como “rodar programas num interpretador fixo” já foi validada empiricamente por vários grupos (von Oswald et al. 2023; Akyürek et al. 2022; Dai et al. 2023). A aritmética de tarefas oferece composicionalidade real, ainda que aproximada, sobre “programas” no espaço de pesos. A analogia hypernetwork-como-eval captura a relação estrutural entre geradores de programas e executores de programas.

Mapeamentos moderados. Hypernetworks geram pesos para redes alvo separadas, mas falta a elas auto-referência de verdade. A inicialização do MAML serve como “núcleo congelado”, mas não foi projetada como interpretador. As Self-Referential Weight Matrices (Irie et al. 2022) conseguem auto-modificação, mas por produtos externos, não por avaliação simbólica recursiva.

Mapeamentos fracos. A afirmação sobre reversibilidade confunde invertibilidade numérica (RevNets) com reversibilidade lógica (miniKanren). Deltas de pesos não têm estrutura sintática, fluxo de controle, variáveis nem semântica composicional. São objetos numéricos opacos, não programas. O hiato entre contínuo e discreto é fundamental: o poder do Lisp vem da manipulação simbólica exata, e redes neurais operam em espaços contínuos aproximados. A aritmética de tarefas só funciona numa vizinhança pequena dos pesos pré-treinados (α < 1) e degrada com modificações maiores.

Avaliação do trabalho anterior. O vocabulário específico (homoicônico, avaliador metacircular, eval/apply) aplicado à aprendizagem contínua parece inédito. As ideias estruturais por trás dele, porém, foram bastante exploradas no programa de pesquisa de Schmidhuber (de 1987 a 2024), incluindo matrizes de pesos auto-referenciais, meta-meta-aprendizagem e redes que modificam suas próprias regras de aprendizagem. O artigo ACL (Kirsch et al.) já implementa redes auto-referenciais que meta-aprendem algoritmos de aprendizagem contínua. O Nested Learning do Google chega de forma independente à interpretação de otimização multinível.

Elementos novos. A contribuição do HCL seria mais forte como: (1) um vocabulário que liga as comunidades de teoria de LP e de aprendizagem contínua, (2) a percepção específica de que núcleos congelados devem ser projetados como interpretadores em vez de herdados do pré-treinamento, (3) uma fundamentação categórica formal conectando o ponto fixo semântico do Lisp à dinâmica neural de aprendizagem e (4) algoritmos concretos derivados da analogia que superem os métodos existentes. Nada disso existe ainda.

10. Infraestrutura experimental em PyTorch

O ecossistema experimental para validar o HCL já está maduro. O Avalanche (github.com/ContinualAI/avalanche, JMLR 2023) traz benchmarks (Split-MNIST, Split-CIFAR-10/100, Permuted-MNIST), estratégias de treinamento (EWC, GEM, PackNet, métodos de replay) e métricas de avaliação (esquecimento, transferência retroativa/prospectiva). A base de código de van de Ven (github.com/GMvandeVen/continual-learning) permite comparar sistematicamente os cenários Task-IL, Domain-IL e Class-IL.

Para o componente núcleo congelado + deltas, o InfLoRA (github.com/liangyanshuo/InfLoRA, CVPR 2024) e o O-LoRA (github.com/cmnfriend/O-LoRA, EMNLP 2023) implementam LoRA ortogonal para aprendizagem contínua com backbones ViT e LLM. O Online-LoRA (github.com/christina200/online-lora-official, WACV 2025) acrescenta detecção automática de mudança de distribuição. O repositório task_vectors (github.com/mlfoundations/task_vectors) implementa aritmética de tarefas sobre modelos CLIP.

Para experimentos com hypernetworks, o hypnettorch (github.com/chrhenning/hypnettorch) oferece um arcabouço geral de hypernetwork e o hypercl (github.com/chrhenning/hypercl) implementa a hypernetwork de aprendizagem contínua de von Oswald et al. com benchmarks Split-MNIST/CIFAR. Para componentes reversíveis, o FrEIA (github.com/vislearn/FrEIA) e o nflows (github.com/bayesiains/nflows) têm blocos de arquitetura invertíveis.

Um experimento-protótipo do HCL combinaria: (1) um backbone ViT congelado como núcleo metacircular, (2) adaptadores LoRA por tarefa como deltas de peso composicionais com restrições de ortogonalidade, (3) aritmética de tarefas para verificar a reconstrução (θ_task = θ_core + Δ_task) e (4) comparação contra EWC, Progressive Nets e LoRA vanilla no Split-CIFAR-100, usando as métricas padrão ACC/BWT/FWT. O teste específico do HCL é ver se projetar o núcleo congelado explicitamente para “capacidade interpretativa” (via meta-treinamento sobre distribuições diversas de tarefa antes do congelamento) produz aprendizagem contínua melhor que um backbone pré-treinado padrão.

11. Benchmarks e padrões de avaliação

A avaliação padrão em aprendizagem contínua segue a taxonomia de Van de Ven & Tolias (2019): Task-Incremental (a identidade da tarefa está disponível no teste), Domain-Incremental (a distribuição de entrada muda e a estrutura continua a mesma) e Class-Incremental (o mais difícil, em que é preciso discriminar entre todas as classes vistas sem identidade de tarefa). As métricas de Lopez-Paz & Ranzato (2017) são o padrão: ACC = (1/T)Σᵢ R_{T,i}; BWT = (1/(T-1))Σᵢ (R_{T,i} − R_{i,i}); FWT = (1/(T-1))Σᵢ (R_{i-1,i} − bᵢ).

Benchmarks mais recentes atacam as limitações das divisões sintéticas de tarefas. O CLEAR (Lin et al., NeurIPS 2022, arXiv:2201.06289) traz evolução temporal natural a partir de imagens do YFCC100M de 2004 a 2014. O CORe50 (Lomonaco & Maltoni 2017) tem 50 objetos em 11 sessões. O CoIN (Chen et al. 2024) é um benchmark de ajuste de instrução contínuo para LLMs multimodais. Para avaliação específica de LLMs, o survey abrangente de Shi et al. (ACM Computing Surveys 2025, arXiv:2404.16789) cobre pré-treinamento contínuo, pré-treinamento adaptativo a domínio e ajuste de instrução contínuo, com listas curadas de artigos em github.com/Wang-ML-Lab/llm-continual-learning-survey.

Resultados state-of-the-art no Split-CIFAR-100 com ViTs pré-treinados: o BiLoRA chega a 87,46% de acurácia final (2025) e o InfLoRA tem resultados fortes com limites de capacidade, contra 91,92% do treinamento conjunto. No Permuted-MNIST, o EWC se mantém em ~90%+ com 3 tarefas, mas degenera depois de ~18. O GEM mostra esquecimento mínimo com memória episódica. Com backbones de foundation models, a distância entre os melhores métodos de aprendizagem contínua e o treinamento conjunto diminuiu bastante.

Conclusão: uma ponte conceitual que precisa de engenharia e formalização

O HCL identifica uma correspondência estrutural real entre o modelo computacional auto-referencial do Lisp e a arquitetura emergente da aprendizagem contínua neural com núcleo congelado. A evidência mais forte vem de três linhas que convergem: (1) a aprendizagem contínua baseada em LoRA já implementa o padrão núcleo congelado + deltas composicionais, com resultados empíricos fortes, (2) a pesquisa sobre aprendizagem em contexto prova que pesos de transformer congelados implementam algoritmos de aprendizagem adaptativa na passagem direta, funcionando como meso-otimizadores, e (3) as matrizes de pesos auto-referenciais mostram que redes neurais podem modificar seu próprio substrato computacional, chegando perto da homoiconicidade.

O principal risco do arcabouço é continuar sendo uma metáfora produtiva em vez de virar uma teoria produtiva. Três desenvolvimentos transformariam o HCL de analogia em arquitetura. Primeiro, uma formalização categórica que mapeie uma mônada livre ao estilo Lisp para uma categoria neural de mapas paramétricos, com transformações naturais expressando a coerência entre auto-referência simbólica e neural. Segundo, algoritmos concretos em que o núcleo congelado seja meta-treinado explicitamente para capacidade interpretativa em vez de herdado do pré-treinamento padrão, para testar se núcleos “projetados-como-interpretador” superam núcleos “projetados-como-representação”. Terceiro, deltas de peso estruturados com garantias formais de composicionalidade, que vão além da aritmética aproximada de tarefas. As ferramentas existem (Avalanche, hypnettorch, InfLoRA, FrEIA), o que falta é a síntese. A pergunta em aberto central é se o enquadramento Lisp gera previsões que os arcabouços existentes (teoria de estabilidade-plasticidade, regularização pela informação de Fisher, aritmética de tarefas em espaço tangente) não geram.