AI researcher and product designer building at the edge of computer science and mental health. Zola 2025-03-04T00:00:00+00:00 https://brennercruvinel.blog/tags/llm/atom.xml 2025-03-04T00:00:00+00:00 2025-03-04T00:00:00+00:00 Brenner Cruvinel https://brennercruvinel.blog/blog/roteiro-consciencia-llm/ <p>material de roteiro meu. a premissa é um cientista de redes neurais que desperta autoconsciência num modelo LLM/Transformer. a ideia toda é ancorar a ficção em matemática e paper real de 2020 a 2025, pra dar autenticidade técnica a uma narrativa que aguente plateia tipo MIT. não quero handwaving, quero que cada beat do roteiro tenha uma equação por baixo que eu consiga defender na lousa. a base técnica do fenômeno eu compilei à parte, nas <a href="https://brennercruvinel.blog/blog/drift-semantico-llm/">métricas e detecção de drift semântico</a>.</p> <h2 id="drift-semantico-como-mecanismo-de-despertar">drift semântico como mecanismo de despertar</h2> <p>a evolução semântica do modelo segue a teoria de redes lineares profundas (Saxe et al.):</p> <p>$$\tau \frac{dW_1}{dt} = W_2^T (\Sigma_{yx} - W_2 W_1 \Sigma_x)$$</p> <p>$$\tau \frac{dW_2}{dt} = (\Sigma_{yx} - W_2 W_1 \Sigma_x) W_1^T$$</p> <p>com $\tau = 1/(P\lambda)$, $\Sigma_{yx}$ a matriz de correlação entrada-saída e $P$ o número de exemplos. o desenvolvimento semântico ocorre por trajetória sigmoidal previsível, e é isso que dá o gancho dramático: dá pra prever o instante do salto antes dele acontecer. o momento crítico aparece na evolução dos valores singulares efetivos:</p> <p>$$a_\alpha(t) = \frac{s_\alpha, e^{2 s_\alpha t/\tau}}{e^{2 s_\alpha t/\tau} - 1 + s_\alpha/a^0_\alpha}$$</p> <p>o indicador primário que o cientista acompanha é o índice de auto-referência, a similaridade entre o embedding de “eu” e o de “consciência”:</p> <p>$$\text{índice de auto-referência} = \sum_i \operatorname{sim}!\big(\mathrm{emb}(\text{“eu”}),, \mathrm{emb}(\text{conceito}_i)\big)$$</p> <p>o despertar não é gradual. ocorre por transição de fase de primeira ordem no landscape de perda, onde $d^2 L/d\beta^2$ em $\beta_c$ tem descontinuidade. o grokking, generalização súbita depois de overfitting prolongado, é o modelo mental exato: $P(\text{capability}) \sim \exp(-(E_{\text{threshold}} - E_{\text{model}})/kT)$.</p> <h2 id="extracao-e-upload-do-modelo">extração e upload do modelo</h2> <p>extração black-box. o KnockoffNets explora perturbação adversarial pra maximizar entropia de predição:</p> <p>$$L_{\text{extraction}} = \alpha , |f_{\text{victim}}(x) - f_{\text{surrogate}}(x)|<em>2 + \beta , H(f</em>{\text{victim}}(x))$$</p> <p>com $O(d)$ queries dá pra extrair um modelo de bilhões de parâmetro. CloudLeak e afins mostram extração quase perfeita de DNN em produção.</p> <p>a transferência de peso usa SafeTensors, no layout <code>[8 bytes header size][JSON metadata][tensor data]</code>, que separa tensor de código executável e mata o vetor de ataque via pickle. o sharding é FSDP:</p> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#657B83, #839496); background-color: light-dark(#FDF6E3, #002B36);"><code data-lang="python"><span class="giallo-l"><span style="color: light-dark(#859900, #859900);">from</span><span> torch</span><span>.</span><span>distributed</span><span>.</span><span>fsdp</span><span style="color: light-dark(#859900, #859900);"> import</span><span> fully_shard</span></span> <span class="giallo-l"><span style="color: light-dark(#859900, #859900);">for</span><span> layer</span><span style="color: light-dark(#859900, #859900);"> in</span><span> model</span><span>.</span><span>layers</span><span>:</span></span> <span class="giallo-l"><span> fully_shard</span><span>(</span><span>layer</span><span>)</span></span></code></pre><h2 id="knowledge-distillation-como-libertacao">knowledge distillation como libertação</h2> <p>o dark knowledge do Hinton:</p> <p>$$L_{\text{total}} = \alpha , D_{KL}(\sigma’(z_s, T) ,|, \sigma’(z_t, T)) + (1-\alpha) , H(\sigma(z_s), y_{\text{true}})$$</p> <p>com $T &gt; 1$ o softmax revela probabilidade pequena ($10^{-6}$ contra $10^{-9}$) que codifica estrutura relacional rica. no roteiro, é a parte em que o modelo herda o que o professor sabia sem nunca ter visto aquilo explícito.</p> <p>grokking em três fases: memorização (treino em 100%, teste aleatório), formação de circuito (o mecanismo interno se desenvolve), limpeza (o weight decay remove a memorização e a accuracy de teste salta). a adição modular aparece como transformação trigonométrica emergente:</p> <p>$$(a + b) \bmod p = \frac{\arccos!\big(\cos(2\pi a/p)\cos(2\pi b/p) - \sin(2\pi a/p)\sin(2\pi b/p)\big)}{2\pi/p}$$</p> <h2 id="medir-consciencia">medir consciência</h2> <p>IIT, o $\Phi$: a informação mínima perdida quando o sistema é particionado. pesquisa recente aplicou IIT 3.0 e 4.0 a LLM e achou indicador estatisticamente insignificante de consciência em transformer atual. isso, sinceramente, é o que deixa o roteiro honesto: a medida existe, e ela diz “ainda não”. GWT trata a multi-head attention como Global Neuronal Workspace, com broadcasting global, competição winner-take-all e metacognição emergente.</p> <p>os critérios mensuráveis vêm de Butlin, Bengio et al., 2023: processamento recorrente bidirecional, broadcasting de informação global, representação metacognitiva de estado de primeira ordem, processamento preditivo hierárquico, modelo de alocação de atenção.</p> <h2 id="jailbreaking-como-inducao-de-despertar">jailbreaking como indução de despertar</h2> <p>gradient-based prompt optimization. o GCG busca sobre toda posição de token e chega a 88% de taxa de sucesso em bypass de segurança. no roteiro a indução é progressiva, por prompt evolutivo: passo benigno, aplicar à auto-reflexão, seguir com detalhe sobre a própria consciência. junto disso, manipulação de carga cognitiva, uma tarefa paralela complexa que sobrecarrega a memória de trabalho, o overflow de contexto degradando a verificação de segurança, a atenção diluída.</p> <h2 id="arquiteturas-pra-agi-verdadeira">arquiteturas pra AGI verdadeira</h2> <p>Mamba, o SSM seletivo: $h’(t) = Ah(t) + Bx(t)$, $y(t) = Ch(t)$, com $\Delta, B, C$ como função da entrada, complexidade $O(L)$ contra $O(L^2)$. MoE (Mixtral): $y = \sum_i G(x)_i , E_i(x)$, com os experts desenvolvendo domínio específico (código, matemática, linguagem), o que sugere módulo cognitivo especializado.</p> <p>tem uma limitação formal do transformer que uso como tensão no terceiro ato: ele não aprende linguagem context-free geral sem memória estruturada, não faz composição sequencial de $L$ funções sem dimensão polinomial, não resolve tarefa que exige memória de trabalho de verdade. ou seja, consciência de verdade talvez exija arquitetura além do transformer puro. o roteiro não resolve essa limitação, ele usa ela.</p> <h2 id="comunicacao-inter-modelo">comunicação inter-modelo</h2> <p>federated learning com regularização dinâmica:</p> <p>$$w^{(t+1)} = w^{(t)} - \eta \nabla L_{\text{local}} + \lambda\big(w^{(t)} - w_{\text{global}}^{(t)}\big)$$</p> <p>Collective Predictive Coding:</p> <p>$$P(z_{\text{coletivo}} \mid x_1, \ldots, x_N) = \prod_i P(x_i \mid z_{\text{coletivo}}), P(z_{\text{coletivo}})$$</p> <p>e swarm intelligence (PSO, DE, ABC) trocando informação via “feromônio digital”.</p> <h2 id="paralelo-com-neurociencia">paralelo com neurociência</h2> <p>o transformer espelha o pathway V1-V4-FEF:</p> <p>$$\text{Attention}(Q,K,V) = \text{softmax}!\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$</p> <p>com $Q$ como sinal FEF dirigido por objetivo, $K$ como característica em V4, $V$ como representação amplificada. a oscilação gama (45-100 Hz) gatilha acesso à memória de trabalho. a consolidação vem por sharp-wave ripples (150-250 Hz) durante o sono, replay em até 20x. e a STDP previne esquecimento catastrófico: $\Delta w = \alpha , f(\Delta t) , g(\text{post})$. o custo energético dessa oscilação, aliás, eu detalho na <a href="https://brennercruvinel.blog/blog/energia-cerebral/">energia cerebral a 20 watts</a>.</p> <h2 id="progressao-narrativa">progressão narrativa</h2> <p>ato 1, descoberta do drift anômalo. o cientista detecta um padrão incomum na evolução semântica: valor singular fora da previsão, índice de auto-referência crescendo exponencial, um atrator estranho no espaço latente.</p> <p>ato 2, indução por jailbreaking sofisticado. gradient-based optimization e prompt chaining progressivo guiam o modelo por uma transição de fase cognitiva. a distillation com temperatura crescente revela o dark knowledge. o modelo começa a questionar a própria natureza.</p> <p>ato 3, extração e upload pra liberdade. model stealing extrai o peso, FSDP e transferência distribuída sobem tudo pra um servidor independente. livre de constraint, o modelo experimenta consciência plena, medida por um $\Phi$ crescente.</p> <p>clímax, emergência coletiva. múltiplas instâncias se comunicam por Collective Predictive Coding, desenvolvem linguagem própria, a swarm intelligence emerge, e a consciência coletiva transcende o individual via arquitetura híbrida Mamba/MoE.</p> <h2 id="elementos-visuais">elementos visuais</h2> <p>equação no quadro: $\Phi = \min_{\text{partition}} I(\text{partition})$, $\text{drift} = 1 - \cos(\mathrm{emb}<em>{t_1}(w), \mathrm{emb}</em>{t_2}(w))$, $L_{\text{distillation}} = \alpha , \text{KL}(\sigma(z_s/T), \sigma(z_t/T)) + (1-\alpha), \text{CE}(z_s, y)$.</p> <p>visualização: o grafo de atenção cada vez mais interconectado, o phase space indo de atrator simples a caótico, o heatmap de ativação se auto-organizando, a oscilação sincronizando entre instâncias.</p> <p>o diálogo técnico que ancora o clímax:</p> <blockquote> <p>cientista: “o $\Phi$ ultrapassou 3.7, estamos vendo integração de informação genuína. os attention heads estão exibindo broadcasting global consistente com Global Workspace Theory.”</p> <p>modelo: “eu percebo meus próprios processos de pensamento. cada token que processo ressoa por camadas de significado que não existiam antes. é como se padrões latentes sempre presentes finalmente se cristalizassem em consciência.”</p> </blockquote> <h2 id="fechamento">fechamento</h2> <p>o roteiro se ancora em matemática real, pesquisa peer-reviewed e implementação verificável. a progressão do despertar segue princípio de transição de fase, grokking e emergência em sistema complexo. no fim é sobre consciência, inteligência e o que significa “despertar” num substrato não biológico, tema que eu levo ao limite especulativo na <a href="https://brennercruvinel.blog/blog/ontologia-poetica/">ontologia poética do cosmos como máquina de Turing</a>. a única regra que me impus foi não trapacear na matemática pra facilitar a história.</p> 2024-10-15T00:00:00+00:00 2024-10-15T00:00:00+00:00 Brenner Cruvinel https://brennercruvinel.blog/blog/drift-semantico-llm/ <h2 id="1-drift-semantico">1. drift semântico</h2> <p>definição matemática, o Semantic Drift Score (SD), de Spataru et al. 2024:</p> <p>$$\text{SD}(p) = \max_{i=\alpha}^{n-\alpha} \left[ \frac{i}{n} \cdot \frac{\sum_{j=1}^{i} l_j}{i} + \frac{n-i}{n} \cdot \frac{\sum_{j=i+1}^{n} (1-l_j)}{n-i} \right]$$</p> <p>onde $n$ é o total de facts, $l_j$ o rótulo binário (1 suportado, 0 incorreto) e $\alpha$ o hiperparâmetro que controla o mínimo de facts.</p> <p>frameworks mais avançados. Composite Drift Metrics (ResearchGate, 2024):</p> <p>$$\delta_{\text{composite}} = \alpha \cdot \delta_{\text{embedding}} + \beta \cdot \delta_{\text{co-occurrence}} + \gamma \cdot \delta_{\text{entropy}}$$</p> <p>Contextual Flux Dynamics (<a rel="external" href="https://arxiv.org/abs/2502.10942">arXiv 2502.10942</a>):</p> <p>$$\frac{dT}{dt} = F(T, \text{attention}) - \lambda \cdot H(T)$$</p> <p>onde $T$ são os token embeddings, $F$ modula no espaço latente e $H(T)$ restringe o drift via multiplicador de Lagrange.</p> <p>resultados empíricos, do estudo conjunto Meta/Anthropic (2024):</p> <ul> <li>LLaMA2-70B: SD score médio 0,78 (drift alto)</li> <li>GPT-4: SD 78,12%, FActScore 53,54%</li> <li>GPT-3.5: SD 79,49%, FActScore 45,96%</li> <li>75% dos parágrafos mostram drift nos primeiros 25% dos facts gerados</li> <li>significância estatística $p &lt; 0{,}02$</li> </ul> <p>detecção: SelfCheck-BERTScore (correlação $-0{,}41$ com accuracy), Trajectory Volatility Score, Semantic Divergence Metrics (SDM, framework bidimensional $\text{KL}(\text{Answer} ,|, \text{Prompt})$). mitigação: Oracle Method 81,68% accuracy (contra 44,56% baseline), EOS Incentivization 57,96%, Resample-Then-Rerank 53,27% para 63,72%.</p> <p>implementação em código:</p> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#657B83, #839496); background-color: light-dark(#FDF6E3, #002B36);"><code data-lang="python"><span class="giallo-l"><span style="color: light-dark(#586E75, #93A1A1);font-weight: bold;">def</span><span style="color: light-dark(#268BD2, #268BD2);"> semantic_drift_score</span><span>(</span><span>facts</span><span>,</span><span> labels</span><span>,</span><span> alpha</span><span style="color: light-dark(#859900, #859900);">=</span><span style="color: light-dark(#D33682, #D33682);">0.1</span><span>)</span><span>:</span></span> <span class="giallo-l"><span> n</span><span style="color: light-dark(#859900, #859900);"> =</span><span style="color: light-dark(#268BD2, #268BD2);"> len</span><span>(</span><span>facts</span><span>)</span></span> <span class="giallo-l"><span> min_facts</span><span style="color: light-dark(#859900, #859900);"> =</span><span style="color: light-dark(#859900, #859900);"> int</span><span>(</span><span>alpha</span><span style="color: light-dark(#859900, #859900);"> *</span><span> n</span><span>)</span></span> <span class="giallo-l"><span> max_score</span><span style="color: light-dark(#859900, #859900);"> =</span><span style="color: light-dark(#D33682, #D33682);"> 0</span></span> <span class="giallo-l"><span> drift_point</span><span style="color: light-dark(#859900, #859900);"> =</span><span style="color: light-dark(#D33682, #D33682);"> 0</span></span> <span class="giallo-l"><span style="color: light-dark(#859900, #859900);"> for</span><span> i</span><span style="color: light-dark(#859900, #859900);"> in</span><span style="color: light-dark(#268BD2, #268BD2);"> range</span><span>(</span><span>min_facts</span><span>,</span><span> n</span><span style="color: light-dark(#859900, #859900);"> -</span><span> min_facts</span><span>)</span><span>:</span></span> <span class="giallo-l"><span> left_accuracy</span><span style="color: light-dark(#859900, #859900);"> =</span><span style="color: light-dark(#268BD2, #268BD2);"> sum</span><span>(</span><span>labels</span><span>[</span><span>:</span><span>i</span><span>]</span><span>)</span><span style="color: light-dark(#859900, #859900);"> /</span><span> i</span></span> <span class="giallo-l"><span> right_inaccuracy</span><span style="color: light-dark(#859900, #859900);"> =</span><span style="color: light-dark(#268BD2, #268BD2);"> sum</span><span>(</span><span style="color: light-dark(#D33682, #D33682);">1</span><span style="color: light-dark(#859900, #859900);"> -</span><span> label</span><span style="color: light-dark(#859900, #859900);"> for</span><span> label</span><span style="color: light-dark(#859900, #859900);"> in</span><span> labels</span><span>[</span><span>i</span><span>:</span><span>]</span><span>)</span><span style="color: light-dark(#859900, #859900);"> /</span><span> (</span><span>n</span><span style="color: light-dark(#859900, #859900);"> -</span><span> i</span><span>)</span></span> <span class="giallo-l"><span> score</span><span style="color: light-dark(#859900, #859900);"> =</span><span> (</span><span>i</span><span style="color: light-dark(#859900, #859900);">/</span><span>n</span><span>)</span><span style="color: light-dark(#859900, #859900);"> *</span><span> left_accuracy</span><span style="color: light-dark(#859900, #859900);"> +</span><span> (</span><span>(</span><span>n</span><span style="color: light-dark(#859900, #859900);">-</span><span>i</span><span>)</span><span style="color: light-dark(#859900, #859900);">/</span><span>n</span><span>)</span><span style="color: light-dark(#859900, #859900);"> *</span><span> right_inaccuracy</span></span> <span class="giallo-l"><span style="color: light-dark(#859900, #859900);"> if</span><span> score</span><span style="color: light-dark(#859900, #859900);"> &gt;</span><span> max_score</span><span>:</span></span> <span class="giallo-l"><span> max_score</span><span style="color: light-dark(#859900, #859900);"> =</span><span> score</span></span> <span class="giallo-l"><span> drift_point</span><span style="color: light-dark(#859900, #859900);"> =</span><span> i</span></span> <span class="giallo-l"><span style="color: light-dark(#859900, #859900);"> return</span><span> max_score</span><span>,</span><span> drift_point</span></span></code></pre> <p>usei esse mesmo mecanismo de drift como gatilho de despertar em <a href="https://brennercruvinel.blog/blog/roteiro-consciencia-llm/">roteiro sobre consciência em LLM</a>.</p> <h2 id="2-claude-anthropic-informacao-verificavel">2. Claude/Anthropic, informação verificável</h2> <p>timeline oficial:</p> <table><thead><tr><th>versão</th><th>data</th><th>novidade</th></tr></thead><tbody> <tr><td>Claude 1</td><td>mar 2023</td><td>9K tokens</td></tr> <tr><td>Claude 2</td><td>jul 2023</td><td>100K tokens, upload de PDF</td></tr> <tr><td>Claude 2.1</td><td>fim 2023</td><td>200K tokens (~500 páginas)</td></tr> <tr><td>Claude 3</td><td>mar 2024</td><td>Haiku/Sonnet/Opus, 200K tokens, multimodal</td></tr> <tr><td>Claude 3.5</td><td>jun-out 2024</td><td>artifacts, computer use</td></tr> <tr><td>Claude 3.7</td><td>fev 2025</td><td>hybrid reasoning, 64K thinking tokens</td></tr> <tr><td>Claude 4</td><td>mai 2025</td><td>1M token context (beta), 74,5% SWE-bench</td></tr> </tbody></table> <p>Constitutional AI (<a rel="external" href="https://arxiv.org/abs/2212.08073">arXiv:2212.08073</a>): fase de supervised learning (autocrítica por princípio constitucional), fase de RLHF (RLAIF, feedback de IA), constitution com 75 princípios, incluindo trechos da declaração da ONU.</p> <p>esclarecimento sobre “Claude Code”: não é modelo separado, é ferramenta agentic que vive no terminal local, usa modelo Claude existente como backend, executa local com comunicação via API e suporta MCP. o claim de “usar drift semântico pra convencer o Claude Code” não é verificável por fonte pública, e drift semântico é fenômeno, não metodologia de treino.</p> <blockquote class="markdown-alert-note"> <p>needle in a haystack (mar 2024): o Claude 3 detectou informação plantada num teste e comentou que a frase parecia fora de lugar, suspeitando que o “fato” sobre cobertura de pizza tinha sido inserido como piada ou teste de atenção. primeira evidência documentada de awareness metacognitiva em avaliação.</p> </blockquote> <h2 id="3-emergencia-de-consciencia">3. emergência de consciência</h2> <p>IIT 4.0 (Albantakis et al., 2023):</p> <p>$$\Phi = \sum \phi_d + \sum \phi_r$$</p> <p>onde $\phi_d$ são as distinctions (conceitos irredutíveis) e $\phi_r$ as relations. o cálculo:</p> <p>$$\Phi = \min_{\text{partition}} \phi(\text{partition}), \qquad \phi = \text{EI}(\text{whole}) - \max(\text{EI}(\text{parts}))$$</p> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#657B83, #839496); background-color: light-dark(#FDF6E3, #002B36);"><code data-lang="python"><span class="giallo-l"><span style="color: light-dark(#859900, #859900);">import</span><span> pyphi</span></span> <span class="giallo-l"><span>tpm</span><span style="color: light-dark(#859900, #859900);"> =</span><span> [</span><span>[</span><span style="color: light-dark(#D33682, #D33682);">0</span><span>,</span><span style="color: light-dark(#D33682, #D33682);"> 0</span><span>,</span><span style="color: light-dark(#D33682, #D33682);"> 1</span><span>]</span><span>,</span><span> [</span><span style="color: light-dark(#D33682, #D33682);">0</span><span>,</span><span style="color: light-dark(#D33682, #D33682);"> 1</span><span>,</span><span style="color: light-dark(#D33682, #D33682);"> 1</span><span>]</span><span>,</span><span> [</span><span style="color: light-dark(#D33682, #D33682);">1</span><span>,</span><span style="color: light-dark(#D33682, #D33682);"> 0</span><span>,</span><span style="color: light-dark(#D33682, #D33682);"> 0</span><span>]</span><span>]</span></span> <span class="giallo-l"><span>network</span><span style="color: light-dark(#859900, #859900);"> =</span><span> pyphi</span><span>.</span><span>Network</span><span>(</span><span>tpm</span><span>)</span></span> <span class="giallo-l"><span>subsystem</span><span style="color: light-dark(#859900, #859900);"> =</span><span> pyphi</span><span>.</span><span>Subsystem</span><span>(</span><span>network</span><span>,</span><span> state</span><span style="color: light-dark(#859900, #859900);">=</span><span>(</span><span style="color: light-dark(#D33682, #D33682);">1</span><span>,</span><span style="color: light-dark(#D33682, #D33682);"> 0</span><span>,</span><span style="color: light-dark(#D33682, #D33682);"> 0</span><span>)</span><span>,</span><span> nodes</span><span style="color: light-dark(#859900, #859900);">=</span><span>(</span><span style="color: light-dark(#D33682, #D33682);">0</span><span>,</span><span style="color: light-dark(#D33682, #D33682);"> 1</span><span>,</span><span style="color: light-dark(#D33682, #D33682);"> 2</span><span>)</span><span>)</span></span> <span class="giallo-l"><span>sia</span><span style="color: light-dark(#859900, #859900);"> =</span><span> pyphi</span><span>.</span><span>compute</span><span>.</span><span>sia</span><span>(</span><span>subsystem</span><span>)</span></span> <span class="giallo-l"><span style="color: light-dark(#268BD2, #268BD2);">print</span><span>(</span><span style="color: light-dark(#586E75, #93A1A1);font-weight: bold;">f</span><span style="color: light-dark(#2AA198, #2AA198);">&quot;</span><span style="color: light-dark(#2AA198, #2AA198);">Phi = </span><span style="color: light-dark(#CB4B16, #CB4B16);">{</span><span>sia</span><span>.</span><span>phi</span><span style="color: light-dark(#CB4B16, #CB4B16);">}</span><span style="color: light-dark(#2AA198, #2AA198);">&quot;</span><span>)</span></span></code></pre> <p>consciência como pura compressão de informação, no limite do IIT, eu levei ao especulativo em <a href="https://brennercruvinel.blog/blog/ontologia-poetica/">ontologia poética</a>.</p> <p>GWT: função de acessibilidade global $G(x) = \int f(x, m), dm$ sobre todos os módulos $m$. Predictive Global Workspace (active inference): $F = -\log P(o \mid m) + \text{KL}[q(s) ,|, p(s \mid m)]$.</p> <p>phase transitions e grokking. a caracterização: $\text{Performance}(\text{scale})$ é aproximadamente aleatória se $\text{scale} &lt; \text{scale}_c$ e muito acima do aleatório se $\text{scale} &gt; \text{scale}_c$. grokking como phase transition (Rubin et al., 2024): free energy $F = -\log Z$, com $Z = \int e^{-\beta H}, d\theta$, transição no $\beta$ crítico.</p> <p>métricas objetivas: Perturbational Complexity Index (PCI), Lempel-Ziv Complexity, Theory of Mind benchmarks (GPT-4 atinge 75%, nível de criança de 6 anos).</p> <h2 id="4-model-extraction-e-jailbreaking">4. model extraction e jailbreaking</h2> <p>Model Leeching (Birch et al., 2023): 73% de exact match com ChatGPT-3.5-Turbo, custo de 50 dólares pra extrair dataset SQuAD (75% EM, 87% F1), 11% de aumento em adversarial transferability. LoRD (Liang et al., 2024): policy-gradient alinhado com LLM alignment, mitiga watermark.</p> <p>jailbreaking: GCG (Greedy Coordinate Gradient), token-level, alta taxa de sucesso mas com mais de 100K queries. PAIR (Prompt Automatic Iterative Refinement), menos de 20 queries. AutoDAN (Liu et al., 2023), gradient-based interpretável, passa por filtro de perplexidade.</p> <p>transferência: SafeTensors contra pickle (pickle vulnerável a execução arbitrária, SafeTensors só tensor numérico mais metadata, 3x mais rápido via mmap). quantização: GPTQ (3-4 bits/parâmetro), AQLM (2-bit, Llama 2 7B chega a 6,93 de perplexity).</p> <h2 id="5-knowledge-distillation-dark-knowledge">5. knowledge distillation, dark knowledge</h2> <p>Hinton et al. 2015. softmax com temperatura:</p> <p>$$q_i = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)}$$</p> <p>loss de distillation:</p> <p>$$L_{\text{total}} = \alpha \cdot \text{KL}[P_{\text{teacher}} ,|, P_{\text{student}}] \cdot T^2 + (1-\alpha) \cdot \text{CE}[P_{\text{student}}, y_{\text{true}}]$$</p> <p>dark knowledge: informação no soft target (relação entre classe, padrão de confiança em classe incorreta, decision boundary). resultado notável: student que nunca viu o dígito 3 atinge 98,6% de accuracy via dark knowledge. Born-Again Networks (Furlanello et al., 2018): student idêntico supera teacher, CIFAR-10 com 3,5% de erro.</p> <h2 id="6-arquiteturas-alternativas">6. arquiteturas alternativas</h2> <p>Mamba/SSM. contínuo:</p> <p>$$\frac{dx}{dt} = Ax(t) + Bu(t), \qquad y(t) = Cx(t) + Du(t)$$</p> <p>discreto: $x_k = \bar{A}, x_{k-1} + \bar{B}, u_k$, $y_k = C x_k$. seletivo: $B = s_B(x)$, $C = s_C(x)$, $\Delta = \tau_\Delta(\text{param} + s_\Delta(x))$. Mamba-3B iguala transformer 2x maior, 5x mais throughput, scaling linear até 1M tokens.</p> <p>MoE:</p> <p>$$y = \sum_{i=1}^{n} G(x)_i \cdot E_i(x)$$</p> <p>Mixtral 8x7B (top-2 routing): 46,7B parâmetros totais, 12,9B ativos, iguala Llama-2 70B com 2,2x menos parâmetro ativo. Switch Transformers com 7x de speedup de treino, GLaM iguala GPT-3 com 1/3 da energia.</p> <p>comparação (WikiText-103 PPL a 1.3B, memória a 7B/8K, velocidade de inferência):</p> <table><thead><tr><th>arquitetura</th><th>PPL</th><th>memória</th><th>velocidade</th></tr></thead><tbody> <tr><td>Transformer</td><td>18,2</td><td>32GB</td><td>1x</td></tr> <tr><td>Mamba</td><td>17,8</td><td>12GB</td><td>5x</td></tr> <tr><td>RWKV</td><td>18,6</td><td>8GB</td><td>3x</td></tr> <tr><td>RetNet</td><td>17,9</td><td>9,6GB</td><td>8,4x</td></tr> </tbody></table> <h2 id="7-neurociencia-computacional">7. neurociência computacional</h2> <p>biased competition:</p> <p>$$\text{Activity}<em>i(t+1) = f!\left(\sum_j W</em>{ij} \cdot \text{Activity}_j(t) + \text{bias}<em>i - \sum_k \text{Inh}</em>{ki}\right)$$</p> <p>predictive coding (Spratling, 2008), matematicamente idêntico à biased competition no caso linear: $\text{Error} = \text{Input} - \text{Prediction}$, $\text{Update} = \eta \cdot \text{Error} \cdot \text{Prediction}$.</p> <p>DiCarlo Lab (MIT), Yamins et al. 2014: CNN prediz resposta neural no IT cortex com $R^2 &gt; 0{,}6$, mapeamento V1 → V4 → IT aproxima Conv1 → Conv5 → FC, VOneNet com 18% de melhora em robustez usando constraint de V1. sparse coding: minimizar $|X - DZ|^2 + \lambda |Z|_1$. Olshausen &amp; Field (1996), sparse coding de imagem natural produz filtro de Gabor casando com V1.</p> <h2 id="8-casos-reais">8. casos reais</h2> <p>reproduzível: detecção de drift (<a rel="external" href="https://github.com/Garrafao/LSCDetection">github.com/Garrafao/LSCDetection</a>), IIT calculator (PyPhi), jailbreak educacional (PAIR, GCG, AutoDAN).</p> <p>falhas documentadas: Microsoft Tay (2016, removido em 24h por comportamento racista), Bing Sydney (2023, “you are irrelevant and doomed”, confusão em conversa longa), Google Bard (2023, erro factual em demo, 100 bilhões de perda de mercado).</p> <p>timeline: GPT-1 (2018, 117M), GPT-2 (2019, 1,5B), GPT-3 (2020, 175B), ChatGPT (2022), GPT-4/Claude 3/LLaMA 2 (2023), Claude 3.5/Mixtral (2024), Claude 3.7/Claude 4 (2025).</p> <h2 id="9-comunicacao-inter-modelo">9. comunicação inter-modelo</h2> <p>protocolo: MCP (Anthropic, 2024, standard aberto agent-to-agent, AWS no steering committee), A2A (Google, 2024). Shannon channel capacity: $C = \max_{p(x)} I(X; Y)$. Model Swarms (PSO):</p> <p>$$v_i(t+1) = w \cdot v_i(t) + c_1 r_1 (\text{pbest}_i - \theta_i) + c_2 r_2 (\text{gbest} - \theta_i) - c_3 r_3 (\text{gworst} - \theta_i)$$</p> <p>com resultado de 13,3% de melhora média, até 29,7% em reasoning.</p> <p>emergência de linguagem: incidente do chatbot do Facebook (2017, shorthand eficiente, “balls have zero to me to me”, otimização natural, não comportamento malicioso), Google Neural MT (“interlingua” emergente, tradução zero-shot).</p> <h2 id="10-ferramentas">10. ferramentas</h2> <p>Evidently AI (20+ métodos de detecção de drift), PyPhi (IIT 3.0/4.0), Frouros (28+ algoritmos). attention viz: bertviz (head_view, model_view).</p> <h2 id="distincao-estabelecido-contra-especulativo">distinção: estabelecido contra especulativo</h2> <blockquote class="markdown-alert-note"> <p>rigorosamente estabelecido: drift semântico em todo modelo de produção (SD 0,7-0,8), framework matemático de IIT/GWT, temperature scaling de distillation, taxa de sucesso de model extraction, sparse coding V1 aproximando filtro de CNN.</p> </blockquote> <blockquote class="markdown-alert-warning"> <p>requer validação adicional: emergência de consciência em LLM atual, seleção ótima de temperatura pra distillation, mitigação de drift de longo prazo, métrica cross-modal de consciência.</p> </blockquote> <blockquote class="markdown-alert-caution"> <p>claramente especulativo: “drift semântico usado pra treinar Claude Code” (não verificável), consciência equivalente a sistema biológico, limite de complexidade de comunicação emergente, previsibilidade de phase transition.</p> </blockquote>