Processamento de linguagem natural com Python e RegEx

O que é processamento de linguagem natural

Fundamentos de expressões regulares

Caracteres especiais essenciais

• . qualquer caractere (exceto quebra de linha)

• zero ou mais repetições do caractere anterior

• + uma ou mais repetições

• ? zero ou uma repetição (opcional)

• ^ início da string

• $ fim da string

• [abc] qualquer caractere dentro dos colchetes

• [^abc] qualquer caractere exceto os listados

• \d qualquer dígito (0-9)

• \w qualquer letra, dígito ou underscore

• \s qualquer espaço em branco

Exemplo prático: validando formatos simples

import re

# Validar se começa com número
padrao = r'^\d+'
texto = "123 é um número"
if re.match(padrao, texto):
    print("Começa com número")

# Validar múltiplos padrões
padrao_email_simples = r'^[\w.-]+@[\w.-]+\.\w+$'
email = "usuario@exemplo.com"
print("Email válido?", bool(re.match(padrao_email_simples, email)))

Aplicações práticas com Python

Extração de dados estruturados

import re

descricao = "Produto XYZ-001 custa R$ 129,90 e temos 50 unidades em estoque"

# Extrair código do produto
sku = re.search(r'[A-Z]+-\d+', descricao)
if sku:
    print("SKU:", sku.group())

# Extrair preço
preco = re.search(r'R\$\s([\d.,]+)', descricao)
if preco:
    print("Preço:", preco.group(1))

# Extrair quantidade
quantidade = re.search(r'(\d+)\s+unidades', descricao)
if quantidade:
    print("Quantidade:", quantidade.group(1))

Limpeza e normalização de texto

import re

texto_sujo = "   João    da   Silva   trabalha  na  empresa  ABC   "

# Remover espaços múltiplos
texto_limpo = re.sub(r'\s+', ' ', texto_sujo).strip()
print(repr(texto_limpo))  # 'João da Silva trabalha na empresa ABC'

# Remover pontuação
texto_sem_pontos = re.sub(r'[.,!?;:]', '', texto_limpo)
print(texto_sem_pontos)

# Converter para lowercase mantendo nomes próprios (exemplo simples)
texto_padrao = re.sub(r'\s([a-z])', lambda m: ' ' + m.group(1).upper(), texto_limpo.lower())

Tokenização e segmentação

import re

texto = "Python é incrível! #nlp #programacao Você concorda? Sim, eu concordo."

# Extrair hashtags
hashtags = re.findall(r'#\w+', texto)
print("Hashtags:", hashtags)

# Dividir em sentenças
sentencas = re.split(r'[.!?]+', texto)
sentencas = [s.strip() for s in sentencas if s.strip()]
print("Sentenças:", sentencas)

# Extrair apenas palavras (sem pontuação)
palavras = re.findall(r'\b\w+\b', texto.lower())
print("Palavras:", palavras)

Dicas para trabalhar com RegEx eficientemente

Use raw strings (r"...")

# Incorreto (pode gerar erros inesperados)
padrao = "^\d+\.\d+$"

# Correto
padrao = r"^\d+\.\d+$"

Teste suas expressões antes de usar em produção

Organize RegEx complexas com comentários

padrao = re.compile(r"""
    ^                          # Início
    [a-zA-Z0-9._%+-]+         # Usuário
    @                          # Arroba
    [a-zA-Z0-9.-]+            # Domínio
    \.                         # Ponto
    [a-zA-Z]{2,}              # TLD
    $                          # Fim
""", re.VERBOSE)

Combine RegEx com lógica Python adicional

import re

textos = [
    "João comprou 3 maçãs",
    "Maria comeu 5 cookies",
    "Pedro pegou 2 laranjas"
]

# Extrair nome e quantidade
for texto in textos:
    match = re.match(r'(\w+)\s+\w+\s+(\d+)', texto)
    if match:
        nome, quantidade = match.groups()
        print(f"{nome}: {int(quantidade) * 2} unidades (dobrado)")

Casos de uso reais

• Validação de formulários valide e-mail, telefone, CEP e CPF antes de salvar os dados no banco

• Web scraping extraia títulos, preços e descrições de páginas HTML com padrões precisos

• Processamento de logs analise arquivos de log extensos para encontrar erros, horários de pico ou padrões suspeitos

• Tratamento de dados em CSV recupere e padronize arquivos mal formatados ou com estrutura inconsistente

• Análise de texto conte ocorrências de padrões, encontre menções em redes sociais ou extraia nomes de pessoas e organizações

Próximos passos e recursos