Controle visual eye-in-hand de SCARA 3-DOF por erro de pixel discreto

No Atomos MSI, o payload de cinco bandas precisa apontar para regiões da bandeja com repetibilidade — e a especificação natural do operador é clicar neste pixel, não digitar juntas. Este post formaliza o controle visual eye-in-hand do SCARA 3-DOF: a lei $\Delta\mathbf{q}=-\lambda\mathbf{L}_{\mathrm{scara}}^{-1}\mathbf{e}$ traduz um clique $(c_x,c_y)$ em correção de junta $(\Delta\theta_0,\Delta\theta_2)$ sob Jacobiana de imagem reduzida pan/tilt.

Diferencia-se do IBVS clássico: sem extração contínua de features e com um único movimento por waypoint, sincronizado por confirmação mecânica antes do próximo passo — requisito para aquisição MSI sequencial (um LED por quadro). Documentamos convergência para $\lambda\in(0,2)$, singularidades e a sincronização servo–imagem usada na bancada.

---

1. Problema e motivação científica

Na bancada Atomos, o payload MSI (5 LEDs + CMOS) deve apontar para regiões da carne ou do solo com repetibilidade. Interfaces de junta pura ($\theta_0$, $\theta_2$ em radianos) são pouco ergonômicas para o operador; a especificação natural é apontar para este pixel. O desafio fundamental é:

Como mapear $(c_x,c_y)$ em $(\Delta\theta_0,\Delta\theta_2)$ de forma que, após o movimento, o ponto da cena que estava em $(c_x,c_y)$ ocupe o centro óptico da imagem?

Formulamos três questões alinhadas ao documento de modelagem:

1. Q1 — Qual a cadeia cinemática e a projeção perspectiva que ligam o espaço de juntas $\{\theta_0,\theta_2\}$ ao plano de imagem $\{I\}$ na montagem eye-in-hand?
2. Q2 — Sob a restrição de correção discreta (um passo por waypoint), a lei $\Delta\mathbf{q}=-\lambda\mathbf{L}_{\mathrm{scara}}^{-1}\mathbf{e}$ converge localmente, e sob quais condições sobre $\lambda$ e $\det(\mathbf{L}_{\mathrm{scara}})$?
3. Q3 — Quais falhas de sincronização (sinais da Jacobiana, profundidade $Z$, latência servo–imagem) dominam a prática, e como diagnosticá-las?

O método é tratado como instrumento de posicionamento assistido, não como IBVS de alta taxa. Servo 1 (extensão do braço) é declarado opcional e não entra no laço visual direto; o controle reduz-se a pan ($\theta_0$) e tilt ($\theta_2$).

---

2. Fundamentos e trabalho relacionado

2.1 IBVS clássico versus correção discreta

O visual servoing clássico (Espiau et al., 1992; Chaumette & Hutchinson, 2008) opera em malha fechada contínua: captura → extração de características $\mathbf{s}$ → erro $\mathbf{e}=\mathbf{s}-\mathbf{s}^*$ → velocidade de juntas $\dot{\mathbf{q}}=-\lambda\mathbf{L}^{+}\mathbf{e}$ → integração em $\Delta t$ → repetir. O problema Atomos diverge em três pontos:

2.2 Graus de liberdade do manipulador

A câmera está fixada rigidamente no payload, com eixo óptico $Z_C$ apontando para a cena (montagem para baixo ou para frente, conforme calibração).

2.3 Sistemas de coordenadas

• Base $\{B\}$: origem na interseção do eixo de $\theta_0$ com o plano horizontal; $Z_B$ vertical; $X_B$ na referência $\theta_0=0$.
• Câmera $\{C\}$: origem no centro óptico; $Z_C$ ao longo do eixo óptico; $X_C$ à direita na imagem; $Y_C$ para baixo.
• Imagem $\{I\}$: origem no canto superior esquerdo; $u$ colunas, $v$ linhas; resolução $W\times H$. Coordenadas normalizadas:

$$\tilde{u}=\frac{u}{W},\qquad \tilde{v}=\frac{v}{H},\qquad \tilde{u},\tilde{v}\in[0,1].$$

---

3. Modelagem geométrica

3.1 Cadeia cinemática

A pose da câmera em relação à base é

$$\mathbf{T}_{BC}(\theta_0,\theta_2)=\mathbf{T}_{B0}(\theta_0)\cdot\mathbf{T}_{02}(\theta_2)\cdot\mathbf{T}_{2C}.$$

Para o SCARA simplificado pan/tilt:

$$\mathbf{T}_{B0}(\theta_0)= \begin{bmatrix} \cos\theta_0 & -\sin\theta_0 & 0 & 0 \\ \sin\theta_0 & \cos\theta_0 & 0 & 0 \\ 0 & 0 & 1 & h_0 \\ 0 & 0 & 0 & 1 \end{bmatrix},$$ $$\mathbf{T}_{02}(\theta_2)= \begin{bmatrix} \cos\theta_2 & 0 & \sin\theta_2 & L\cos\theta_2 \\ 0 & 1 & 0 & 0 \\ -\sin\theta_2 & 0 & \cos\theta_2 & L\sin\theta_2 \\ 0 & 0 & 0 & 1 \end{bmatrix},$$

com $h_0$ altura do eixo da base, $L$ comprimento do braço, e $\mathbf{T}_{2C}$ a transformação fixa payload→câmera (calibração hand-eye; Tsai & Lenz, 1989):

$$\mathbf{A}_i\mathbf{X}=\mathbf{X}\mathbf{B}_i,\quad i=1,\ldots,N.$$

3.2 Projeção perspectiva

Um ponto $\mathbf{P}_C=[X_C,Y_C,Z_C]^\top$ no sistema da câmera projeta-se como

$$\begin{bmatrix}u\\v\\1\end{bmatrix} =\frac{1}{Z_C}\mathbf{K}\mathbf{P}_C, \qquad \mathbf{K}= \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix},$$

onde $(c_x,c_y)$ é o centro óptico principal (tipicamente o centro da imagem) e $f_x,f_y$ as distâncias focais em pixels.

---

4. Erro visual, Jacobiana e lei de controle

4.1 Erro visual normalizado

Dado o clique $(\tilde{c}_x,\tilde{c}_y)$,

$$\mathbf{e}=\begin{bmatrix}e_u\\e_v\end{bmatrix} =\begin{bmatrix}\tilde{c}_x-0{,}5\\\tilde{c}_y-0{,}5\end{bmatrix} \in[-0{,}5,0{,}5]^2.$$

$\mathbf{e}=\mathbf{0}$ significa que o ponto clicado já está no centro.

4.2 Matriz de interação $\mathbf{L}_{\mathrm{scara}}$

A relação diferencial $\dot{\mathbf{s}}=\mathbf{L}(\mathbf{s},Z)\dot{\mathbf{q}}$ com $\mathbf{q}=[\theta_0,\theta_2]^\top$ e $\mathbf{s}=[u,v]^\top$ reduz-se, para pan/tilt e ponto próximo ao centro, a

$$\mathbf{L}_{\mathrm{scara}}= \begin{bmatrix} \dfrac{\partial u}{\partial\theta_0} & \dfrac{\partial u}{\partial\theta_2} \\[6pt] \dfrac{\partial v}{\partial\theta_0} & \dfrac{\partial v}{\partial\theta_2} \end{bmatrix} = \begin{bmatrix} -\dfrac{f_x}{Z}\,y_C & \dfrac{f_x}{Z}\,z_C^{\mathrm{eff}} \\[6pt] \dfrac{f_y}{Z}\,x_C & -\dfrac{f_y}{Z}\,x_C^{\mathrm{eff}} \end{bmatrix},$$

onde $Z$ é a profundidade ao longo do eixo óptico. $\theta_0$ equivale a uma componente de $\omega_z$ (pan na imagem); $\theta_2$ a $\omega_y$ (tilt).

4.3 Lei de controle discreta

$$\boxed{\Delta\mathbf{q}=-\lambda\,\mathbf{L}_{\mathrm{scara}}^{-1}\,\mathbf{e}}$$

ou, explicitamente,

$$\begin{bmatrix}\Delta\theta_0\\\Delta\theta_2\end{bmatrix} =-\lambda\,\mathbf{L}_{\mathrm{scara}}^{-1} \begin{bmatrix}\tilde{c}_x-0{,}5\\\tilde{c}_y-0{,}5\end{bmatrix},$$

com ganho $\lambda\in(0,1]$ na prática (tipicamente $\approx 0{,}3$ se houver oscilação). Seguem saturação de passo $\Delta\theta_{\max}$ e limites mecânicos $[\theta_i^{\min},\theta_i^{\max}]$.

4.4 Invertibilidade e singularidades

$\mathbf{L}_{\mathrm{scara}}$ é invertível sse $\det(\mathbf{L}_{\mathrm{scara}})\neq 0$. No modelo simplificado,

$$\det(\mathbf{L}_{\mathrm{scara}})=\frac{f_x f_y}{Z^2}\bigl(-y_C\,x_C^{\mathrm{eff}}-z_C^{\mathrm{eff}}\,x_C\bigr).$$

A singularidade ocorre quando o ponto 3D está alinhado com o eixo de tilt da câmera ($x_C=y_C=0$) — tipicamente diretamente abaixo da câmera. Próximo à singularidade, usa-se a pseudo-inversa de Moore–Penrose ou regularização de Tikhonov:

$$\mathbf{L}_{\mathrm{scara}}^{-1}\approx\bigl(\mathbf{L}_{\mathrm{scara}}^\top\mathbf{L}_{\mathrm{scara}}+\mu\mathbf{I}\bigr)^{-1}\mathbf{L}_{\mathrm{scara}}^\top,\qquad\mu>0.$$

4.5 Convergência local

Sob $\mathbf{L}_{\mathrm{scara}}$ constante (válido para pequenos deslocamentos) e invertível, o sistema discreto

$$\mathbf{q}_{k+1}=\mathbf{q}_k-\lambda\mathbf{L}_{\mathrm{scara}}^{-1}\mathbf{e}_k$$

satisfaz $\|\mathbf{q}_{k+1}-\mathbf{q}^*\|=|1-\lambda|\,\|\mathbf{q}_k-\mathbf{q}^*\|$. Convergência local exige $|1-\lambda|<1$, i.e.\ $\lambda\in(0,2)$, desde que o ponto clicado seja atingível pelo robô.

---

5. Protocolo de execução de waypoints

5.1 Captura

Lista $\mathcal{W}=\emptyset$; a cada clique, normalizar e armazenar $\mathbf{w}_i=(\tilde{c}_x,\tilde{c}_y)$.

5.2 Waypoint único

1. $\mathbf{e}=(\tilde{c}_x-0{,}5,\,\tilde{c}_y-0{,}5)$.
2. Se $\|\mathbf{e}\|<\varepsilon_{\mathrm{tol}}$, retornar (já centrado).
3. $\Delta\mathbf{q}=-\lambda\mathbf{L}_{\mathrm{scara}}^{-1}\mathbf{e}$; saturar $\Delta\theta_i$.
4. $\mathbf{q}_{\mathrm{new}}=\mathbf{q}_{\mathrm{curr}}+\Delta\mathbf{q}$; clamp mecânico.
5. Comandar servos; aguardar confirmação de posição (feedback ou timeout).
6. Declarar waypoint concluído.

5.3 Sequência

Para cada $\mathbf{w}_k\in\mathcal{W}$: executar o passo único; opcionalmente recapturar e refinar se $\|\mathbf{e}\|>\varepsilon_{\mathrm{tol}}$ (modo iterativo). Retorno a $\mathbf{q}_0$ (home) ao fim.

O fluxograma abaixo formaliza esse laço. O ramo Não ($\|\mathbf{e}\|\geq\varepsilon$) calcula $\Delta\mathbf{q}$, move os servos e aguarda posicionamento antes de recapturar a imagem — a sincronização servo–imagem que evita operar sobre quadro desatualizado. O ramo Sim declara o waypoint concluído e avança para o próximo clique da lista $\mathcal{W}$.

---

6. Calibração, profundidade e diagnóstico

6.1 Intrínsecos e profundidade

$\mathbf{K}$ via padrão xadrez / ChArUco. A profundidade $Z$ entra em $\mathbf{L}_{\mathrm{scara}}$; opções documentadas: (i) plano de trabalho a altura conhecida; (ii) RGB-D; (iii) estéreo no payload; (iv) $Z=Z_{\mathrm{nominal}}$ constante para superfícies aproximadamente planas (caso típico da bandeja Atomos).

6.2 Matriz de diagnóstico

6.3 Verificação empírica de sinais

Com alvo visível em $\theta_0=\theta_2=0$: aplicar $\Delta\theta_0>0$ e observar se o alvo move para a esquerda ($\partial u/\partial\theta_0<0$) ou direita ($>0$); idem para $\Delta\theta_2$ e $\partial v/\partial\theta_2$ (cima/baixo).

6.4 Extensões

• Modo iterativo: $\mathbf{q}_{k+1}=\mathbf{q}_k-\lambda_k\mathbf{L}^{-1}\mathbf{e}_k$ com gain scheduling ($\lambda_k$ decrescente).
• Dinâmica de servos: $\tau_{\mathrm{wait}}=\tau_{\mathrm{servo}}+\tau_{\mathrm{com}}+\tau_{\mathrm{image}}$ (RC típico 100–200 ms).
• Suavização: spline cúbica $\mathbf{q}(t)$ entre waypoints com $\dot{\mathbf{q}}(0)=\dot{\mathbf{q}}(T)=\mathbf{0}$.

---

7. Parâmetros do protocolo

---

8. Limitações e validade

1. Não é IBVS contínuo. Um passo por waypoint assume linearidade local; erros grandes ou $Z$ mal estimado degradam o mapeamento.
2. Dependência de $Z$. Sem profundidade medida, $Z_{\mathrm{nominal}}$ falha em relevo acentuado da amostra.
3. Servo 1 fora do laço. Extensão do braço não é comandada pelo erro de pixel; o envelope de atingibilidade é o de pan/tilt na configuração atual.
4. Calibração hand-eye. $\mathbf{T}_{2C}$ incorreta propaga erro sistemático de direção (sintoma “move ao contrário”).
5. Latência. Sem confirmação de posição, o próximo clique opera sobre imagem desatualizada — falha de sincronização, não de Jacobiana.
6. Escopo. O documento é de modelagem e implementação; não reporta métricas experimentais de erro residual em pixels nem taxa de sucesso por sequência de waypoints.

---

9. Direções de pesquisa

No horizonte do Atomos e da célula inline de carcaças:

• Fechar o laço iterativo com critério $\|\mathbf{e}\|<\varepsilon$ em pixels e log de convergência por waypoint.
• Integrar profundidade (RGB-D ou Kinect do ecossistema) em $\mathbf{L}_{\mathrm{scara}}(Z)$.
• Planejador de 5 poses anatômicas multiangulares sobre a carcaça, usando a mesma lei de centragem por ROI.
• Migrar de SCARA 3-DOF para manipulador de 6 eixos, preservando a interface clique→centro como camada de especificação de tarefa.
• Validação quantitativa: erro residual médio, tempo até confirmação, robustez a variação de $Z$ na bandeja MSI.

---

10. Conclusão

No âmbito do posicionamento do cabeçote Atomos MSI, o controle visual do SCARA 3-DOF formaliza o waypoint como erro de pixel puro e a atuação como correção discreta via Jacobiana de imagem invertida. A cadeia $\mathbf{T}_{BC}$, a projeção $\mathbf{K}$ e a lei $\Delta\mathbf{q}=-\lambda\mathbf{L}_{\mathrm{scara}}^{-1}\mathbf{e}$ respondem a Q1–Q2 sob hipóteses locais e $\lambda\in(0,2)$; a prática (Q3) concentra-se em sinais de $\mathbf{L}$, calibração de $Z$ e sincronização servo–imagem. Esse eixo não substitui o IBVS clássico de alta taxa — fornece o modelo mínimo necessário para que o operador especifique regiões de aquisição espectral por clique, com o robô centrando a cena antes de cada ciclo LED. A validade operacional depende, daqui em diante, de calibração hand-eye estável, profundidade conhecida do plano de trabalho e confirmação mecânica antes da captura multiespectral.

---

Referências

• Chaumette, F., & Hutchinson, S. (2008). Visual servoing and visual tracking. In Springer Handbook of Robotics. Springer.
• Espiau, B., Chaumette, F., & Rives, P. (1992). A new approach to visual servoing in robotics. IEEE Transactions on Robotics and Automation, 8(3), 313–326.
• Corke, P. (2017). Robotics, Vision and Control: Fundamental Algorithms in MATLAB (2nd ed.). Springer.
• Tsai, R. Y., & Lenz, R. K. (1989). A new technique for fully autonomous and efficient 3D robotics hand/eye calibration. IEEE Transactions on Robotics and Automation, 5(3), 345–358.
• Malis, E. (2004). Visual servoing invariant to changes in camera intrinsic parameters. IEEE Transactions on Robotics, 20(1), 72–81.
• Melo, L. S. (2026). Controle Visual de Robô SCARA com Câmera Montada no Efetuador — Correção de Posição Baseada em Erro de Pixel para Waypoints Interativos. Documento técnico Atomos MSI (docs/3DOF-Scara/main.tex).