Este experimento avalia a combinacao de duas fontes de representacao: features auto-supervisionadas do DINOv2 (Oquab et al., 2023) e descritores ColorNaming.
Hipotese
Descritores DINOv2 capturam estrutura semantica e textura, enquanto ColorNaming captura informacao cromatica interpretavel. A hipotese e que a fusao das duas fontes fornece representacao complementar para tarefas de conformacao.
Estrategia de fusao
A fusao ocorre por concatenacao de canais seguida de projecao linear.
def fuse(dino_feat, cn_feat):
# dino_feat: (B, 384, H, W) - DINOv2 ViT-S/14
# cn_feat: (B, 11, H, W) - ColorNaming
combined = torch.cat([dino_feat, cn_feat], dim=1)
return self.projection(combined) # (B, 256, H, W)Observacoes iniciais
Os mapas de atencao do DINOv2 concentram-se em bordas de tecido e transicoes estruturais. Os descritores ColorNaming atribuem massa de probabilidade as regioes de gordura (canais branco e amarelo).
A analise combinada sugere separacao mais consistente entre gordura e musculo em comparacao a cada fonte isolada. A confirmacao quantitativa depende da avaliacao em conjunto de teste com anotacoes de referencia.
Proximas verificacoes
- Ablacao entre concatenacao e mecanismos de atencao cruzada
- Analise de sensibilidade a resolucao de entrada (14x14 vs 28x28 patches)
- Comparacao com baseline de fusao por soma ponderada