{"id":205268,"date":"2025-12-08T09:09:15","date_gmt":"2025-12-08T12:09:15","guid":{"rendered":"https:\/\/goias.gov.br\/ligo\/?p=205268"},"modified":"2025-12-22T07:35:58","modified_gmt":"2025-12-22T10:35:58","slug":"modelos-generalistas-falham-em-contextos-especializados","status":"publish","type":"post","link":"https:\/\/goias.gov.br\/ligo\/modelos-generalistas-falham-em-contextos-especializados\/","title":{"rendered":"Modelos generalistas falham em contextos especializados?"},"content":{"rendered":"\t\t
\n\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

<\/p>\n

Avaliamos o desempenho do LLaMA e do Qwen em tarefas de infer\u00eancia textual voltadas ao setor p\u00fablico. Os resultados mostraram a import\u00e2ncia da compara\u00e7\u00e3o entre modelos de IA em dom\u00ednios cr\u00edticos como sa\u00fade, educa\u00e7\u00e3o e seguran\u00e7a.<\/strong><\/p>\n

<\/p>\n

\"\"<\/figure>\n

<\/p>\n

Por que devemos comparar modelos de IA generativas em contextos especializados?<\/strong><\/h2>\n

<\/p>\n

Nem todo modelo generalista funciona bem em contextos especializados (ex: Administra\u00e7\u00e3o p\u00fablica, jur\u00eddico,  sa\u00fade e etc..). O benchmarking nos permite avaliar a capacidade do modelo em lidar com vocabul\u00e1rio t\u00e9cnico, contexto sem\u00e2ntico e estilo textual espec\u00edficos. Atrav\u00e9s de testes comparativos, podemos detectar alucina\u00e7\u00f5es, vieses, erros de infer\u00eancia ou fragilidade em tarefas cr\u00edticas. <\/p>\n

<\/p>\n

Para que essa compara\u00e7\u00e3o seja significativa, precisamos construir cen\u00e1rios de avalia\u00e7\u00e3o que simulam tarefas reais encontradas nos dom\u00ednios especializados. Isso envolve a elabora\u00e7\u00e3o de entradas formuladas, com base em documentos, legisla\u00e7\u00f5es, ou situa\u00e7\u00f5es pr\u00e1ticas, permitindo observar como os modelos respondem diante desses casos. <\/p>\n

<\/p>\n

Com o objetivo de realizar um estudo comparativo entre os LLMs (Large Language Models ), definimos algumas m\u00e9tricas-chave para avaliar o desempenho desses modelos dentro de um contexto especializado.<\/p>\n

<\/p>\n

Taxa de compreens\u00e3o contextual<\/strong><\/h2>\n

<\/p>\n

A primeira m\u00e9trica avaliada foi a de compreens\u00e3o textual, na qual aplicamos t\u00e9cnicas de Infer\u00eancia de Linguagem Natural (NLI). Por meio desse m\u00e9todo, quantificamos a capacidade dos modelos de compreender textos no contexto governamental. Para isso, foram analisadas frases compostas por uma premissa e uma hip\u00f3tese, desafiando os modelos a classificar a rela\u00e7\u00e3o entre elas como implica\u00e7\u00e3o, contradi\u00e7\u00e3o ou neutralidade.<\/p>\n

<\/p>\n

Exemplo da estrutura\u00e7\u00e3o das senten\u00e7as definidas em cinco n\u00edveis de dificuldade: Muito F\u00e1cil, F\u00e1cil, M\u00e9dio, Dif\u00edcil ou Muito Dif\u00edcil :<\/strong><\/p>\n

<\/p>\n

[\n  {\n    \"categoria\": \"Seguran\u00e7a P\u00fablica\",\n    \"premissa\": \"O policiamento ostensivo foi aumentado no bairro.\",\n    \"hipotese\": \"A presen\u00e7a de policiais nas ruas do bairro diminuiu.\",\n    \"nivel\": \"Muito F\u00e1cil\",\n    \"gabarito\": \"Contradi\u00e7\u00e3o\"\n  },\n  {\n    \"categoria\": \"Sa\u00fade\",\n    \"premissa\": \"A vacina\u00e7\u00e3o em massa contra a poliomielite foi realizada.\",\n    \"hipotese\": \"A campanha de imuniza\u00e7\u00e3o contra a paralisia infantil aconteceu.\",\n    \"nivel\": \"Muito F\u00e1cil\",\n    \"gabarito\": \"Implica\u00e7\u00e3o\"\n  }\n]<\/code><\/pre>\n
<\/p>\n
Executando o Teste e Coletando Dados<\/strong><\/h2>\n
<\/p>\n
Todos os modelos testados receberam as mesmas instru\u00e7\u00f5es para classificar, em uma \u00fanica palavra, a rela\u00e7\u00e3o entre premissa e hip\u00f3tese. Foram registradas todas as respostas juntamente com logs detalhados de cada intera\u00e7\u00e3o, registro de anomalias e comportamentos n\u00e3o previstos. Para execu\u00e7\u00e3o do teste foi implementada uma pipeline de compreens\u00e3o textual com LangChain e NLI. Estruturado da seguinte forma:<\/p>\n
<\/p>\n
\"\"<\/figure>\n
<\/p>\n
1- Contrato de entrada<\/i><\/span><\/h6>\n
<\/p>\n
Esta etapa define os dados esperados pela fun\u00e7\u00e3o compreensaoTextual<\/em><\/strong><\/p>\n
<\/p>\n
A fun\u00e7\u00e3o de cada campo:<\/strong><\/p>\n
<\/p>\n
    <\/p>\n
  • categoria: <\/em><\/strong>sa\u00fade, educa\u00e7\u00e3o, infraestrutura, seguran\u00e7a e administra\u00e7\u00e3o p\u00fablica.<\/li>\n
    <\/p>\n
  • premissa: <\/em><\/strong>Senten\u00e7a base que cont\u00e9m os fatos.<\/li>\n
    <\/p>\n
  • hipotese: <\/em><\/strong>Afirma\u00e7\u00e3o que ser\u00e1 analisada com base na premissa.<\/em><\/li>\n
    <\/p>\n
  • nivel:<\/em><\/strong> Indica a dificuldade da infer\u00eancia.<\/li>\n
    <\/p><\/ul>\n
    <\/p>\n
    2- Extra\u00e7\u00e3o de Vari\u00e1veis + Prompt Din\u00e2mico<\/i><\/span><\/h6>\n
    <\/p>\n
    RunnableSequence<\/em><\/strong> \u00e9 uma estrutura do LangChain que encadeia m\u00faltiplas etapas de execu\u00e7\u00e3o como<\/span> <\/span>(input \u2192 prompt \u2192 modelo \u2192 parser). Funciona como um pipeline modular e reativo. Cada etapa recebe a sa\u00edda da anterior.<\/span><\/p>\n
    <\/p>\n
    As etapas:<\/strong><\/p>\n
    <\/p>\n
      <\/p>\n
    1. O RunnableSequence extrai os dados do ctx.<\/li>\n
      <\/p>\n
    2. Esses dados s\u00e3o inseridos no prompt por meio de placeholders como {premissa} e {hipotese}.<\/li>\n
      <\/p>\n
    3. O prompt \u00e9 constru\u00eddo dinamicamente com ChatPromptTemplate.fromMessages().<\/li>\n
      <\/p><\/ol>\n
      <\/p>\n
      3- Execu\u00e7\u00e3o do Modelo de Linguagem (LLM)<\/span><\/h6>\n
      <\/p>\n
      O LangChain envia o prompt para um modelo de linguagem selecionado dinamicamente de acordo com o provedor informado. <\/p>\n
      <\/p>\n
      As etapas do LLM:<\/strong><\/p>\n
      <\/p>\n
        <\/p>\n
      1. Leitura da premissa<\/strong>.<\/li>\n
        <\/p>\n
      2. An\u00e1lise da hip\u00f3tese<\/strong>.<\/li>\n
        <\/p>\n
      3. Classifica\u00e7\u00e3o l\u00f3gica da rela\u00e7\u00e3o<\/li>\n
        <\/p><\/ol>\n
        <\/p>\n
        4- Parse da Resposta Textual<\/span><\/h6>\n
        <\/p>\n
        Nessa fase \u00e9 feita a interpreta\u00e7\u00e3o e estrutura\u00e7\u00e3o da sa\u00edda bruta do modelo. O tratamento \u00e9 feito atrav\u00e9s da ferramenta StringOutputParser <\/em><\/strong>encontrado no LangChain. <\/strong>Esse tratamento da sa\u00edda remove os espa\u00e7os em branco, quebras de linha, ou textos desnecess\u00e1rios.<\/p>\n
        <\/p>\n
        5- Sa\u00edda da Fun\u00e7\u00e3o<\/i><\/span><\/h6>\n
        <\/p>\n
        Com intuito de salvar as respostas dos testes para o benchmarking entre modelos. A sa\u00edda da fun\u00e7\u00e3o \u00e9 estruturada \u00e9 dada por:  { resposta: “implica\u00e7\u00e3o” }<\/p>\n
        <\/p>\n
        Resultados preliminares<\/strong><\/h2>\n
        <\/p>\n
        Inicialmente, foram testados os modelos LLaMA 3.1:8B e Qwen 2.5:7B. No contexto governamental, com segmenta\u00e7\u00f5es nas \u00e1reas de sa\u00fade, educa\u00e7\u00e3o, infraestrutura, seguran\u00e7a e administra\u00e7\u00e3o p\u00fablica, o modelo Qwen apresentou um desempenho superior, acertando 90% das quest\u00f5es. J\u00e1 o modelo LLaMA teve um desempenho abaixo do esperado, com uma taxa de acerto em torno de 65%. <\/p>\n
        <\/p>\n
         Um ponto relevante sobre o desempenho do LLaMA \u00e9 que, embora em alguns casos as respostas estivessem corretas, o modelo n\u00e3o seguiu as instru\u00e7\u00f5es do prompt, que exigiam respostas diretas classificadas como \u201cImplica\u00e7\u00e3o\u201d, \u201cContradi\u00e7\u00e3o\u201d ou \u201cNeutro\u201d. Em vez disso, o modelo frequentemente incluiu justificativas junto \u00e0 resposta, o que comprometeu a avalia\u00e7\u00e3o automatizada.<\/p>\n
        <\/p>\n
        \"\"<\/figure>\n
        <\/p>\n
        Pr\u00f3ximos passos<\/strong><\/h2>\n
        <\/p>\n
        Em breve, iremos avaliar diversos modelos e par\u00e2metros com o objetivo de tornar o benchmarking mais abrangente. Tamb\u00e9m realizaremos an\u00e1lises com base em outras m\u00e9tricas, tais como: clareza da resposta, tempo m\u00e9dio de resposta, tratamento de ambiguidade e etc. Todas essas avalia\u00e7\u00f5es ocorrer\u00e3o no \u00e2mbito governamental , garantindo que os resultados sejam aplic\u00e1veis a contextos reais de gest\u00e3o p\u00fablica.<\/p>\n
        <\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"
        Avaliamos o desempenho do LLaMA e do Qwen em tarefas de infer\u00eancia textual voltadas ao setor p\u00fablico. Os resultados mostraram a import\u00e2ncia da compara\u00e7\u00e3o entre modelos de IA em dom\u00ednios cr\u00edticos como sa\u00fade, educa\u00e7\u00e3o e seguran\u00e7a. Por que devemos comparar modelos de IA generativas em contextos especializados? Nem todo modelo generalista funciona bem em contextos especializados (ex: Administra\u00e7\u00e3o p\u00fablica, jur\u00eddico,  sa\u00fade e etc..). O benchmarking nos permite avaliar a capacidade do modelo em lidar com vocabul\u00e1rio t\u00e9cnico, contexto sem\u00e2ntico e estilo textual espec\u00edficos. Atrav\u00e9s de testes comparativos, podemos detectar alucina\u00e7\u00f5es, vieses, erros de infer\u00eancia ou fragilidade em tarefas cr\u00edticas.  Para que essa compara\u00e7\u00e3o seja significativa, precisamos construir cen\u00e1rios de avalia\u00e7\u00e3o que simulam tarefas reais encontradas nos dom\u00ednios especializados. Isso envolve a elabora\u00e7\u00e3o de entradas formuladas, com base em documentos, legisla\u00e7\u00f5es, ou situa\u00e7\u00f5es pr\u00e1ticas, permitindo observar como os modelos respondem diante desses casos.  Com o objetivo de realizar um estudo comparativo entre os LLMs (Large Language Models ), definimos algumas m\u00e9tricas-chave para avaliar o desempenho desses modelos dentro de um contexto especializado. Taxa de compreens\u00e3o contextual A primeira m\u00e9trica avaliada foi a de compreens\u00e3o textual, na qual aplicamos t\u00e9cnicas de Infer\u00eancia de Linguagem Natural (NLI). Por meio desse m\u00e9todo, quantificamos a capacidade dos modelos de compreender textos no contexto governamental. Para isso, foram analisadas frases compostas por uma premissa e uma hip\u00f3tese, desafiando os modelos a classificar a rela\u00e7\u00e3o entre elas como implica\u00e7\u00e3o, contradi\u00e7\u00e3o ou neutralidade. Exemplo da estrutura\u00e7\u00e3o das senten\u00e7as definidas em cinco n\u00edveis de dificuldade: Muito F\u00e1cil, F\u00e1cil, M\u00e9dio, Dif\u00edcil ou Muito Dif\u00edcil : Executando o Teste e Coletando Dados Todos os modelos testados receberam as mesmas instru\u00e7\u00f5es para classificar, em uma \u00fanica palavra, a rela\u00e7\u00e3o entre premissa e hip\u00f3tese. Foram registradas todas as respostas juntamente com logs detalhados de cada intera\u00e7\u00e3o, registro de anomalias e comportamentos n\u00e3o previstos. Para execu\u00e7\u00e3o do teste foi implementada uma pipeline de compreens\u00e3o textual com LangChain e NLI. Estruturado da seguinte forma: 1- Contrato de entrada Esta etapa define os dados esperados pela fun\u00e7\u00e3o compreensaoTextual A fun\u00e7\u00e3o de cada campo: 2- Extra\u00e7\u00e3o de Vari\u00e1veis + Prompt Din\u00e2mico RunnableSequence \u00e9 uma estrutura do LangChain que encadeia m\u00faltiplas etapas de execu\u00e7\u00e3o como (input \u2192 prompt \u2192 modelo \u2192 parser). Funciona como um pipeline modular e reativo. Cada etapa recebe a sa\u00edda da anterior. As etapas: 3- Execu\u00e7\u00e3o do Modelo de Linguagem (LLM) O LangChain envia o prompt para um modelo de linguagem selecionado dinamicamente de acordo com o provedor informado.  As etapas do LLM: 4- Parse da Resposta Textual Nessa fase \u00e9 feita a interpreta\u00e7\u00e3o e estrutura\u00e7\u00e3o da sa\u00edda bruta do modelo. O tratamento \u00e9 feito atrav\u00e9s da ferramenta StringOutputParser encontrado no LangChain. Esse tratamento da sa\u00edda remove os espa\u00e7os em branco, quebras de linha, ou textos desnecess\u00e1rios. 5- Sa\u00edda da Fun\u00e7\u00e3o Com intuito de salvar as respostas dos testes para o benchmarking entre modelos. A sa\u00edda da fun\u00e7\u00e3o \u00e9 estruturada \u00e9 dada por:  { resposta: “implica\u00e7\u00e3o” } Resultados preliminares Inicialmente, foram testados os modelos LLaMA 3.1:8B e Qwen 2.5:7B. No contexto governamental, com segmenta\u00e7\u00f5es nas \u00e1reas de sa\u00fade, educa\u00e7\u00e3o, infraestrutura, seguran\u00e7a e administra\u00e7\u00e3o p\u00fablica, o modelo Qwen apresentou um desempenho superior, acertando 90% das quest\u00f5es. J\u00e1 o modelo LLaMA teve um desempenho abaixo do esperado, com uma taxa de acerto em torno de 65%.   Um ponto relevante sobre o desempenho do LLaMA \u00e9 que, embora em alguns casos as respostas estivessem corretas, o modelo n\u00e3o seguiu as instru\u00e7\u00f5es do prompt, que exigiam respostas diretas classificadas como \u201cImplica\u00e7\u00e3o\u201d, \u201cContradi\u00e7\u00e3o\u201d ou \u201cNeutro\u201d. Em vez disso, o modelo frequentemente incluiu justificativas junto \u00e0 resposta, o que comprometeu a avalia\u00e7\u00e3o automatizada. Pr\u00f3ximos passos Em breve, iremos avaliar diversos modelos e par\u00e2metros com o objetivo de tornar o benchmarking mais abrangente. Tamb\u00e9m realizaremos an\u00e1lises com base em outras m\u00e9tricas, tais como: clareza da resposta, tempo m\u00e9dio de resposta, tratamento de ambiguidade e etc. Todas essas avalia\u00e7\u00f5es ocorrer\u00e3o no \u00e2mbito governamental , garantindo que os resultados sejam aplic\u00e1veis a contextos reais de gest\u00e3o p\u00fablica.<\/p>\n","protected":false},"author":786,"featured_media":205398,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_links_to":"","_links_to_target":""},"categories":[55,26],"tags":[],"class_list":["post-205268","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-inteligencia_artificial","category-publicacoes-ligo"],"rttpg_featured_image_url":{"full":["https:\/\/goias.gov.br\/ligo\/wp-content\/uploads\/sites\/61\/2025\/12\/metrica1v2_resized.png",200,260,false],"landscape":["https:\/\/goias.gov.br\/ligo\/wp-content\/uploads\/sites\/61\/2025\/12\/metrica1v2_resized.png",200,260,false],"portraits":["https:\/\/goias.gov.br\/ligo\/wp-content\/uploads\/sites\/61\/2025\/12\/metrica1v2_resized.png",200,260,false],"thumbnail":["https:\/\/goias.gov.br\/ligo\/wp-content\/uploads\/sites\/61\/2025\/12\/metrica1v2_resized-150x150.png",150,150,true],"medium":["https:\/\/goias.gov.br\/ligo\/wp-content\/uploads\/sites\/61\/2025\/12\/metrica1v2_resized.png",200,260,false],"large":["https:\/\/goias.gov.br\/ligo\/wp-content\/uploads\/sites\/61\/2025\/12\/metrica1v2_resized.png",200,260,false],"1536x1536":["https:\/\/goias.gov.br\/ligo\/wp-content\/uploads\/sites\/61\/2025\/12\/metrica1v2_resized.png",200,260,false],"2048x2048":["https:\/\/goias.gov.br\/ligo\/wp-content\/uploads\/sites\/61\/2025\/12\/metrica1v2_resized.png",200,260,false]},"rttpg_author":{"display_name":"Hellem Correa","author_link":"https:\/\/goias.gov.br\/ligo\/author\/hellemsantos\/"},"rttpg_comment":3,"rttpg_category":"Intelig\u00eancia Artificial<\/a> Publica\u00e7\u00f5es Ligo<\/a>","rttpg_excerpt":"Avaliamos o desempenho do LLaMA e do Qwen em tarefas de infer\u00eancia textual voltadas ao setor p\u00fablico. Os resultados mostraram a import\u00e2ncia da compara\u00e7\u00e3o entre modelos de IA em dom\u00ednios cr\u00edticos como sa\u00fade, educa\u00e7\u00e3o e seguran\u00e7a. Por que devemos comparar modelos de IA generativas em contextos especializados? Nem todo modelo generalista funciona bem em contextos especializados (ex:…","_links":{"self":[{"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/posts\/205268","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/users\/786"}],"replies":[{"embeddable":true,"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/comments?post=205268"}],"version-history":[{"count":1,"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/posts\/205268\/revisions"}],"predecessor-version":[{"id":205303,"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/posts\/205268\/revisions\/205303"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/media\/205398"}],"wp:attachment":[{"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/media?parent=205268"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/categories?post=205268"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/goias.gov.br\/ligo\/wp-json\/wp\/v2\/tags?post=205268"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}