Skip to content

Latest commit

 

History

21 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Multilingual LLM Research Hub

DrDeSouzAI 🧠⚡ · I lead educators to amplify AI expertise. Lidero educadores para ampliar sua expertise em IA.

CoBICET 2023 peer-reviewed first author languages ORCID

📄 Read the paper (PDF) · 🌐 One-page brief — EN · 🇧🇷 Resumo de uma página — PT · 🧪 Methodology breakdown · 📡 Subscribe to the newsletter

EMO-AI 2025: 🌐 One-page brief — EN · 🇧🇷 Resumo — PT · 🧑‍🏫 Part 1 · 🧑‍🏫 Part 2

PROMPT-EDU 2024: 🌐 One-page brief — EN · 🇧🇷 Resumo — PT · 📖 ResearchGate


📚 Research Papers

📄 Paper 1 — CoBICET 2023

Simulating Dialogues and Characters in ChatGPT-4: A Comparative Analysis of Performance in English and Portuguese

GPT-4 gives shorter, shallower answers in Portuguese than in English — even with identical prompts. Here’s the evidence.

Venue IV Congresso Brasileiro Interdisciplinar em Ciência e Tecnologia (CoBICET 2023)
Format Peer-reviewed full paper
Authors Fabiano R. de Souza · Denise da Vinha Ricieri · Raphaela V. G. Barreto · Adriana M. G. de Farias

📄 Read the paper (PDF) · 🌐 One-page brief — EN · 🇧🇷 Resumo — PT · 🧪 Methodology


🎓 Paper 2 — UNICAMP X Inovações Curriculares 2025

EMO-AI Teaching Loop: Uma Abordagem de Microlearning Neurodidática Usando WhatsApp e Prompts de IA Generativa

Short, emotionally anchored AI prompts on WhatsApp drove 21% enthusiasm, 19% curiosity, and immediate classroom transfer — with a sentiment correlation of 1.0.

Venue X Seminário de Inovações Curriculares · UNICAMP · 4–6 November 2025
Format Comunicação Oral Virtual · Peer-reviewed
Authors Fabiano R. de Souza · Denise da Vinha Ricieri · Rafaela V. G. Barreto · Adriana M. G. de Farias

🌐 One-page brief — EN · 🇧🇷 Resumo — PT · 🎥 Presentation Part 1 · 🎥 Presentation Part 2

📜 Certificates: Participation · Presented Works (1) · Presented Works (2)


📘 Paper 3 — SCIAS Educação, Comunicação e Tecnologia 2024

PROMPT-EDU: Roteiro de comandos de ajuste fino para ChatGPT (PROMPT-EDU: Fine-tuning command script for ChatGPT)

A structured, 3-profile prompt sequence — tested in Brazil and the USA — that reliably optimizes ChatGPT fine-tuning for educational contexts, even for novice users writing prompts in Portuguese.

Venue SCIAS Educação, Comunicação e Tecnologia · v.6, n.1, p.107–138, jan./jun. 2024
DOI 10.36704/sciaseducomtec.v6i1.8374
Format Peer-reviewed journal article · e-ISSN: 2674-905X
Authors Denise da Vinha Ricieri · Adriana M. G. de Farias · Fabiano R. de Souza · Raphaela V. G. Barreto

🌐 One-page brief — EN · 🇧🇷 Resumo — PT · 📖 Full paper on ResearchGate


📬 Stay updated

Subscribe to the newsletter · Bilingual AI + Education research, delivered to educators worldwide.


🇺🇸 English

Why this hub exists

This is a research hub for evaluating how Large Language Models perform across languages — and what that means for educators, students, and anyone deploying AI outside the English-speaking world. The flagship paper (CoBICET 2023, peer-reviewed) is the first piece; future multilingual LLM research will land here.

Why educators should care

If you teach, train, or build learning experiences in a non-English language, the AI tools you’re handing your students do not perform equally across languages. The gap is invisible at first — outputs look fluent — but it shows up in content depth, vocabulary diversity, and referential richness. Students relying on Portuguese-language LLM outputs are getting a thinner version of the answer than English-speaking peers. Until we build language-native prompt engineering and human-in-the-loop review into our practice, we’re quietly amplifying an existing equity gap.

Paper 1 — CoBICET 2023 — Key Findings

We had GPT-4 simulate a hypothetical dialogue between Paulo Freire (Brazilian educator) and Mark Zuckerberg (US Meta CEO) on AI in education. We ran the same structured In-Context Learning prompt in both languages, then asked GPT-4 to translate each output into the other language and re-analyzed everything across content, context, and linguistic complexity.

  • ✅ English outputs were measurably richer in detail, vocabulary, and referential scope
  • ✅ Portuguese outputs preserved context but were concise and shallow
  • ✅ Root cause: GPT-4’s English-native pre-training and a hidden double-translation pipeline for non-English prompts
  • ✅ Mapped to the Hovy & Prabhumoye 5-source NLP bias taxonomy
  • ✅ Recommends language-native prompt engineering + human-in-the-loop review for multilingual deployments

📄 Read the full paper (PDF) · 🧪 Methodology breakdown

Paper 2 — EMO-AI 2025 — Key Findings

Two AI-generated prompts (GenAI Personalization + Ikigai) were deployed in a WhatsApp group across multiple time zones (USA + several Brazilian states). Emoji reactions + text messages were converted to quantitative sentiment analysis.

Metric Result
Enthusiasm rate 21% — strong personal connection to AI content
Curiosity rate 19% — desire to explore further
Classroom transfer Immediate — participants built lesson plans during the session
Sentiment correlation 1.0 — qualitative and quantitative signals fully aligned
Session duration ~1.5–4 hours (cross-timezone)
Replicability Adaptable to any chat platform beyond WhatsApp

🌐 One-page brief — EN · 🇧🇷 Resumo — PT

Paper 3 — PROMPT-EDU 2024 — Key Findings

A structured sequence of three prompt profiles — Context, Demo-CoT, and Educational prompt (Bloom’s Taxonomy verbs) — was tested across multiple ChatGPT versions in Brazil (GPT-3.5 and GPT-4) and the USA (GPT-4), using novice accounts with minimal fine-tuning history.

  • ✅ Prompt-EDU Script succeeded on all established analytical markers across all tested accounts
  • ✅ Performance matched deep machine learning benchmarks described in prior literature
  • ✅ Single Demo + CoT prompt outperformed multi-demo ICL — replicating Chen et al. (2023)
  • Bloom’s Taxonomy verbs effectively bridged the non-native language (Portuguese) processing bias
  • ✅ Proven reliable for novice users optimizing ChatGPT for teaching-learning contexts

🌐 One-page brief — EN · 🇧🇷 Resumo — PT · 📖 Full paper (ResearchGate)


Authors (all papers)

  • Fabiano Rodrigues de Souza (first author, Papers 1 & 2) — Baltimore City Public Schools, Maryland, USA
  • Denise da Vinha Ricieri (first author, Paper 3) — Inteligência Educacional Consultoria / Universidade Federal do Paraná (UFPR), Brazil
  • Raphaela Vasconcelos Gomes Barreto — Universidade Federal Rural do Semi-Árido (UFERSA), Brazil
  • Adriana Mara Guimarães de Farias — Universidade Federal Rural do Semi-Árido (UFERSA), Brazil

Citation — Paper 1 (BibTeX)

@inproceedings{desouza2023simulating,
  author    = {de Souza, Fabiano Rodrigues and
               Ricieri, Denise da Vinha and
               Barreto, Raphaela Vasconcelos Gomes and
               Farias, Adriana Mara Guimarães de},
  title     = {Simulação de Diálogos e Personagens no ChatGPT-4:
               Análise Comparativa do Desempenho em Idiomas Inglês e Português},
  booktitle = {Anais do IV Congresso Brasileiro Interdisciplinar em
               Ciência e Tecnologia (CoBICET 2023)},
  year      = {2023},
  month     = {August},
  url       = {https://www.even3.com.br/cobicet2023}
}

Citation — Paper 3 (BibTeX)

@article{ricieri2024promptedu,
  author    = {Ricieri, Denise da Vinha and
               Farias, Adriana Mara Guimarães de and
               de Souza, Fabiano Rodrigues and
               Barreto, Raphaela Vasconcelos Gomes},
  title     = {PROMPT-EDU: Roteiro de comandos de ajuste fino para ChatGPT},
  journal   = {SCIAS Educação, Comunicação e Tecnologia},
  volume    = {6},
  number    = {1},
  pages     = {107--138},
  year      = {2024},
  doi       = {10.36704/sciaseducomtec.v6i1.8374}
}

Companion repos (the DrDeSouzAI body of work)


🇧🇷 Português

Por que este hub existe

Este é um hub de pesquisa para avaliar como Modelos de Linguagem de Grande Escala (LLMs) se comportam entre idiomas — e o que isso significa para educadores, estudantes e qualquer pessoa que use IA fora do mundo de língua inglesa.

Por que educadores devem se importar

Se você ensina, treina ou desenvolve experiências de aprendizagem em um idioma diferente do inglês, as ferramentas de IA que você entrega aos seus estudantes não performam igualmente em todos os idiomas. A diferença é invisível à primeira vista — as respostas parecem fluentes — mas se manifesta em profundidade de conteúdo, diversidade de vocabulário e riqueza referencial. Enquanto não construirmos engenharia de prompt no idioma nativo + revisão humana, estamos silenciosamente amplificando uma lacuna de equidade que já existe.

Artigo 1 — CoBICET 2023 — Achados Principais

Pedimos ao GPT-4 que simulasse um diálogo hipotético entre Paulo Freire e Mark Zuckerberg. Aplicamos o mesmo prompt em Aprendizagem em Contexto (ICL) nos dois idiomas, depois pedimos ao GPT-4 que traduzisse cada saída para o outro idioma e analisamos novamente tudo nas dimensões de conteúdo, contexto e complexidade linguística.

  • ✅ As respostas em inglês foram mensuravelmente mais ricas em detalhe, vocabulário e escopo referencial
  • ✅ As respostas em português preservaram o contexto, mas foram concisas e rasas
  • ✅ Causa raiz: pré-treino do GPT-4 dominado pelo inglês + pipeline oculto de dupla tradução para outros idiomas
  • ✅ Mapeamos na taxonomia de 5 fontes de viés em NLP de Hovy & Prabhumoye
  • ✅ Recomendamos engenharia de prompt no idioma nativo + revisão humana para implantações multilinguais

📄 Leia o artigo completo (PDF) · 🧪 Detalhamento da metodologia

Artigo 2 — EMO-AI 2025 — Achados Principais

Dois prompts de IA (Personalização com GenAI + Ikigai) foram aplicados em um grupo de WhatsApp com participantes em múltiplos fusos horários (EUA + vários estados brasileiros). Reações com emojis + mensagens de texto foram convertidas em análise de sentimentos quantitativa.

Métrica Resultado
Taxa de entusiasmo 21% — forte conexão pessoal com o conteúdo da IA
Taxa de curiosidade 19% — desejo de explorar mais
Transferência para a sala de aula Imediata — participantes montavam aulas durante a sessão
Correlação de sentimentos 1,0 — sinais qualitativos e quantitativos totalmente alinhados
Duração da sessão ~1,5–4 horas (multifuso horário)
Replicabilidade Adaptável a qualquer plataforma de mensagens além do WhatsApp

🌐 Resumo — PT · 🌐 One-page brief — EN

Artigo 3 — PROMPT-EDU 2024 — Achados Principais

Uma sequência estruturada de três perfis de prompts — Contexto, Demo-CoT e Prompt Educacional (verbos da Taxonomia de Bloom) — foi testada em múltiplas versões do ChatGPT no Brasil (GPT-3.5 e GPT-4) e nos EUA (GPT-4), em contas iniciantes com histórico mínimo de ajuste fino.

  • ✅ O Roteiro Prompt-EDU teve sucesso em todos os marcadores analíticos estabelecidos em todas as contas testadas
  • ✅ O desempenho correspondeu aos benchmarks de aprendizado profundo de máquina descritos na literatura anterior
  • ✅ Um único prompt Demo + CoT superou o ICL multidemo — replicando Chen et al. (2023)
  • ✅ Os verbos da Taxonomia de Bloom transpuseram efetivamente o viés de processamento do idioma não nativo (português)
  • ✅ Comprovado confiável para usuários iniciantes que otimizam o ChatGPT para contextos de ensino-aprendizagem

🌐 Resumo — PT · 🌐 One-page brief — EN · 📖 Artigo completo (ResearchGate)


🔬 Repository structure

.
├── README.md                                          ← you are here (hub overview)
├── index.html                                         ← Paper 1 one-page brief — EN
├── index-pt.html                                      ← Paper 1 resumo — PT
├── emo-ai.html                                        ← Paper 2 one-page brief — EN
├── emo-ai-pt.html                                     ← Paper 2 resumo — PT
├── promptedu.html                                     ← Paper 3 one-page brief — EN
├── promptedu-pt.html                                  ← Paper 3 resumo — PT
├── paper.pdf                                          ← Paper 1 full peer-reviewed paper
├── methodology.md                                     ← Paper 1 technical breakdown
├── Certificado-X-Inovacoes-Curriculares.png           ← Paper 2 certificate (participation)
├── Certificado-Trabalhos-apresentados-X-Inovacoes-1.png ← Paper 2 certificate (selected)
├── Certificado-Trabalhos-apresentados-X-Inovacoes-2.png ← Paper 2 certificate (presented)
└── LICENSE

👨‍🎓 About the lead author

Fabiano Rodrigues de Souza, PhD — DrDeSouzAI 🧠⚡ PhD in Biotechnology · Harvard Graduate School of Education · Dual MBAs · Kirkpatrick Certified Professional · 2× Braskem Award · Editorial Board Member since 2006

I bridge cutting-edge AI research and classroom practice — translating complex technical releases into actionable insights for educators, scientists, and training professionals worldwide.

📬 multidisciplinaryai.substack.com · 🔗 LinkedIn · 🆔 ORCID · 🎓 Lattes · ✉️ mrdesouzaphd@gmail.com


License

The peer-reviewed papers are © the respective authors and reproduced under the terms of their conference proceedings. Code, documentation, README, methodology breakdown, and HTML briefs in this repository are released under the MIT License.

About

Multilingual LLM Research Hub — DrDeSouzAI 🧠⚡ — peer-reviewed research bridging frontier AI and education. Multilingual LLM evaluation · prompt engineering · responsible AI. I lead educators to amplify AI expertise.

Resources

Stars

0 stars

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages