UD03 — Procesamiento del Lenguaje Natural¶

1. Introducción¶

De todas las formas de inteligencia, el lenguaje es la que mejor nos permite comunicar ideas, pedir ayuda, decidir y persuadir. Conseguir que las máquinas entiendan y generen lenguaje humano es el objetivo del procesamiento del lenguaje natural (PLN): el campo de la IA que está detrás de los buscadores, los traductores, los asistentes de voz, los correctores y los chatbots.

Esta unidad tiene una particularidad que conviene saber desde el principio: de sus siete criterios, tres no se demuestran escribiendo código. Hablan del papel del lingüista, del trabajo cooperativo entre perfiles y de la formación que necesita quien investiga en PLN. No son relleno: son la mitad del RA, y en esta unidad se evalúan con una parte escrita dentro de los entregables.

El recorrido:

1. Qué es el PLN y qué tareas comprende, del análisis de una palabra a la generación de texto.
2. Qué se consigue hoy — el potencial, con cifras.
3. La ambigüedad: por qué es el problema del lenguaje, en sus seis formas.
4. Desambiguación y etiquetado morfológico (POS): cómo se ataca ese problema.
5. Las demás limitaciones: falta de comprensión, sesgos, lenguas con pocos recursos, ironía.
6. Cuándo es factible aplicar PLN a un problema, con la lupa del AI Act.
7. Quién participa: el lingüista, la cooperación con informáticos y la formación necesaria.
8. Las herramientas en Python: nltk, spaCy, scikit-learn y transformers.
9. Cómo construir un sistema de PLN orientado a una tarea concreta.

2. Resultado de aprendizaje y criterios de evaluación¶

RA3 — Relaciona el procesamiento de lenguaje natural con sus aplicaciones determinando su potencial e identificando sus limitaciones.

Nota sobre la tabla anterior.

3. Objetivos de la unidad¶

4. Qué es el PLN (RA3-a)¶

4.1 Definición¶

El procesamiento del lenguaje natural es el subcampo de la informática y de la IA que busca que las máquinas comprendan y se comuniquen con el lenguaje humano. Combina tres disciplinas:

Nota sobre la tabla anterior.

4.2 Los niveles del lenguaje¶

El lenguaje se analiza por capas, y cada una tiene sus tareas:

Esta tabla vale también como mapa de la ambigüedad: hay ambigüedad en todos los niveles, y el §6 recorre uno a uno.

4.3 Las tareas del PLN¶

4.4 El pipeline, paso a paso¶

1. Preprocesado: tokenizar, pasar a minúsculas, quitar palabras vacías (stopwords), lematizar.
2. Representación: convertir el texto en números — bolsa de palabras, tf-idf, embeddings.
3. Modelo: aplicar un modelo clásico o una red neuronal.
4. Salida: la tarea concreta.

5. El potencial (RA3-c)¶

5.1 Qué se consigue hoy¶

Nota sobre la tabla anterior.

5.2 Los grandes modelos de lenguaje¶

El AI Act (Reglamento UE 2024/1689) define los modelos de IA de uso general: modelos con al menos mil millones de parámetros, entrenados con autosupervisión a gran escala, que realizan con competencia una amplia variedad de tareas. Los LLM son el ejemplo típico.

6. La ambigüedad, el problema de fondo (RA3-c)¶

Si hay que quedarse con una sola limitación del PLN, es esta: el lenguaje es ambiguo en todos sus niveles. Múltiples interpretaciones de una misma palabra pueden arruinar la capacidad de un sistema para hacer su trabajo. Y no es un caso raro de laboratorio: aparece en frases que decimos sin darnos cuenta.

6.1 Los seis tipos de ambigüedad¶

Nota sobre la tabla anterior.

6.2 Un banco de frases para probar cualquier sistema¶

Estas frases son un buen test rápido: si un sistema las resuelve, es que usa el contexto de verdad.

• Vino de la Rioja.
• Compré unos zapatos de piel de señora.
• La policía observó al sospechoso con unos prismáticos.
• El pescado está listo para comer.
• El cura recibió una cura en su habitación.
• Juan vio a Pedro enfurecido.
• Antonio no nada nada.
• No puedo ir a la fiesta porque no traje traje.
• Estaré de vacaciones solo unos días.
• El Villarreal le ganó al Valencia en su campo.
• Me quedé esperándote en el banco.

6.3 Por qué la ambigüedad no se «arregla»¶

La ambigüedad no es un error del lenguaje que se pueda corregir: es una propiedad suya, y además útil —permite ser breve, irónico o cortés—. Lo que hace un sistema de PLN es elegir la interpretación más probable dado el contexto, y por eso siempre puede equivocarse.

7. Desambiguación y etiquetado morfológico (RA3-a, RA3-c)¶

7.1 Qué es el POS tagging¶

El etiquetado morfológico —POS tagging, etiquetado léxico, desambiguación morfosintáctica— es el proceso de asignar a cada palabra de un texto su categoría gramatical, sin entrar en las relaciones sintácticas.

Y aquí está la clave: una palabra aislada suele ser ambigua respecto a su categoría; dentro de un contexto, casi siempre se puede desambiguar.

7.2 Elegir el conjunto de etiquetas: un compromiso¶

El conjunto de etiquetas (tagset) que se elige cambia la dificultad del problema, y hay que equilibrar dos cosas que tiran en direcciones opuestas:

• Más información: etiquetas específicas — distinguir tiempo, persona, número, género.
• Menos trabajo de desambiguación: etiquetas generales — solo «verbo», «nombre», «adjetivo».

Cuantas más etiquetas, más informativo el resultado y más difícil acertar.

Las categorías principales son las de siempre: nombres (comunes y propios), pronombres, determinantes, adjetivos, verbos, adverbios, preposiciones y conjunciones. Se dividen en clases abiertas —admiten palabras nuevas: nombres, verbos, adjetivos— y cerradas —no: preposiciones, determinantes, conjunciones—.

7.3 Cómo se etiqueta en la práctica¶

En la práctica de la unidad se hacen los tres: reglas y HMM con nltk, y el enfoque neuronal con spaCy.

8. Las demás limitaciones (RA3-c)¶

8.1 Falta de comprensión real¶

Los modelos generan respuestas plausibles sin comprender: no verifican hechos, no razonan sobre el mundo y pueden alucinar — inventar datos con total seguridad. En cualquier tarea con consecuencias, la salida se verifica.

8.2 Sesgos¶

Los modelos aprenden de los textos que hay, y esos textos llevan sesgos históricos y sociales:

• Sesgo de género en los embeddings: «médico → hombre», «enfermera → mujer».
• Sesgos raciales, étnicos y culturales en los datos de entrenamiento.
• El AI Act advierte de que los sesgos pueden perpetuarse y amplificarse en bucles de retroalimentación.

8.3 Lenguas con pocos recursos¶

Casi todos los modelos se entrenan con textos mayoritariamente en inglés. En lenguas con menos datos, las técnicas estadísticas clásicas pueden aún superar a las neuronales, que solo dan buenos resultados a partir de decenas de miles de tokens. No es un detalle menor: decide si un proyecto en una lengua minoritaria es viable.

8.4 Ironía y sarcasmo¶

«¡Qué buena idea, se me ha caído el móvil al agua!» es literalmente positivo y pragmáticamente negativo. Es ambigüedad pragmática pura, y los modelos fallan a menudo.

9. Cuándo es factible aplicar PLN (RA3-d)¶

9.1 Cinco criterios de decisión¶

9.2 Factible y no factible¶

Nota sobre la tabla anterior.

10. Quién hace un proyecto de PLN (RA3-b, RA3-e, RA3-f)¶

Aquí están tres de los siete criterios de este RA, y son los que un material puramente técnico suele resolver en un párrafo. No se demuestran con código, pero deciden si un proyecto de PLN sale bien o sale caro.

10.1 Qué aporta el lingüista (RA3-b)¶

Nota sobre la tabla anterior.

10.2 El trabajo cooperativo (RA3-e)¶

El PLN es interdisciplinar por definición: lingüistas, informáticos y, según el proyecto, psicólogos o expertos en lógica. Dos casos reales que muestran cómo se hace bien:

• Meta NLLB — traducción entre 200 idiomas. Trabajaron con hablantes nativos para anotar y evaluar, y consiguieron +44 % de BLEU medio además de controlar la toxicidad de las traducciones. Sin hablantes nativos no había forma de evaluar la mayoría de esos idiomas.
• Masakhane — PLN para lenguas africanas. Más de 1.000 participantes de 30 países, y una regla explícita: los lingüistas locales no son «solo anotadores», son investigadores. Rechazan la investigación paracaidista: entrar, tomar los datos y marcharse sin dejar capacidad local.

Nota sobre la tabla anterior.

10.3 La formación del investigador (RA3-f)¶

El perfil combina tres patas, y ninguna sobra:

El itinerario recomendado, en este orden:

1. Jurafsky y Martin, Speech and Language Processing — la referencia clásica, de acceso libre. Da la base teórica y el vocabulario.
2. El manual de NLTK — el mismo camino, pero con las manos: cada paso del pipeline, a mano.
3. spaCy, en inglés y en español — el salto a herramientas de producción.
4. Modelos neuronales y transformers — Hugging Face, y de ahí a plataformas de inferencia si hace falta desplegar.

11. Las herramientas en Python (RA3-c, RA3-g)¶

11.1 NLTK, para entender¶

NLTK es una plataforma de enseñanza e investigación con más de 50 corpus y recursos léxicos, como WordNet. Su virtud es que es transparente: cada paso del procesamiento se hace a mano, y por eso es la herramienta con la que se aprende.

1
2

pip install nltk
python -c "import nltk; nltk.download(['punkt_tab','stopwords','wordnet','cess_esp'])"

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import nltk
from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
from nltk.stem.snowball import SnowballStemmer

texto = "La inteligencia artificial está transformando la atención al cliente."
tokens = word_tokenize(texto, language='spanish')
sin_vacias = [t for t in tokens if t.lower() not in stopwords.words('spanish')]
raiz = SnowballStemmer('spanish').stem

print("Tokens:", tokens)
print("Sin stopwords:", sin_vacias)
print("Stemming:", [raiz(t) for t in sin_vacias])

11.2 spaCy, para producir¶

1
2

pip install spacy
python -m spacy download es_core_news_sm

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import spacy

nlp = spacy.load("es_core_news_sm")
doc = nlp("María trabaja en Madrid para una empresa de inteligencia artificial.")

for token in doc:
    print(f"{token.text:<12} {token.pos_:<8} {token.lemma_:<12}")

print("\nEntidades:")
for ent in doc.ents:
    print(f"  {ent.text:<12} → {ent.label_}")

El pipeline de spaCy ejecuta toda la cadena de una pasada:

En una frase corriente, el analizador sintáctico puede encontrar miles de análisis posibles, y spaCy elige el más probable con su modelo estadístico. Es el §6 en acción: la ambigüedad no se elimina, se decide.

11.3 Análisis de sentimiento¶

Con scikit-learn, que funciona en español y sin GPU:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline
from nltk.corpus import stopwords

reseñas = ["me encantó la comida", "pésimo servicio", "todo perfecto", "no volveré"]
etiquetas = [1, 0, 1, 0]

pipe = make_pipeline(
    TfidfVectorizer(stop_words=stopwords.words('spanish')),
    LogisticRegression())
pipe.fit(reseñas, etiquetas)
print(pipe.predict(["la comida estaba buenísima"]))

11.4 Transformers y Hugging Face¶

Los modelos Transformer se usan con la librería transformers y sus pipelines. Funcionan en CPU, pero entrenarlos o afinarlos, no: eso va a Colab.

1
2
3
4
5

from transformers import pipeline

clasificador = pipeline("sentiment-analysis",
                        model="pysentimiento/bertin-roberta-base-sentiment-analysis")
print(clasificador("El servicio fue excelente, volveré seguro."))

12. Construir un sistema orientado a una tarea (RA3-g)¶

12.1 La metodología, en seis pasos¶

1. Definir la tarea: qué entra, qué sale y para quién.
2. Conseguir o anotar los datos: origen, formato, tamaño y licencia.
3. Elegir la herramienta: reglas, modelo clásico o transformer, según datos y recursos.
4. Implementar el pipeline: preprocesado → representación → modelo → salida.
5. Evaluar sobre datos no vistos, y analizar los errores — no solo mirar la métrica.
6. Documentar: origen de los datos, licencia, decisiones y limitaciones.

12.2 La progresión de los notebooks¶

Los notebooks de la unidad recorren esa metodología de menos a más, y conviene verlos como una escalera, no como piezas suextas:

Y los cuatro entregables aplican cada nivel a un problema propio:

Nota sobre la tabla anterior.

13. Puntos clave de la unidad¶

• El PLN busca que las máquinas comprendan y se comuniquen con el lenguaje humano, combinando lingüística computacional, estadística y aprendizaje profundo.
• Sus tareas van de la tokenización al etiquetado POS, entidades, sentimiento, traducción, resumen y generación; el pipeline típico es preprocesado → representación → modelo → salida.
• El potencial es alto y medible: en respuesta a preguntas los sistemas superan la precisión humana (SQuAD 2.0), y el sentimiento en reseñas ronda el 95-97 %.
• La ambigüedad es el problema de fondo, y tiene seis formas: sintáctica, léxica y morfológica, semántica, pragmática, fonológica y funcional. No se elimina: se decide con el contexto.
• El etiquetado POS es la herramienta central de desambiguación. Elegir el tagset es un compromiso: más etiquetas = más información y más difícil acertar (45 en Penn Treebank, 350 en Susanne).
• Las otras limitaciones: forma ≠ significado (Bender y Koller), alucinaciones, sesgos, lenguas con pocos recursos, ironía y sarcasmo.
• El AI Act sirve de herramienta de diseño: su considerando 53 lista PLN de bajo riesgo y su artículo 5 prohíbe prácticas concretas, como inferir emociones en el trabajo o la educación.
• El lingüista no es un apoyo: diseña el tagset, la guía de anotación y los recursos. Las anotaciones deciden las predicciones, y eso no se arregla con más datos.
• La cooperación entre perfiles se evalúa, no solo se describe: NLLB con hablantes nativos (+44 % BLEU) y Masakhane con 1.000 participantes son ejemplos de hacerlo bien; la investigación paracaidista, de hacerlo mal.
• La formación combina lingüística, estadística e informática, con un itinerario claro: Jurafsky → NLTK → spaCy → transformers.
• NLTK para aprender, spaCy para producir; scikit-learn cuando hay pocos datos y transformers cuando hay muchos y GPU. La herramienta se elige por los datos que hay.
• Construir un sistema son seis pasos, y el que más se salta es el quinto: mirar los errores, no solo la métrica.

14. Glosario¶

15. FAQ¶

16. Sesiones¶

Nota sobre la tabla anterior.

17. Recursos¶

• Diapositivas
• Ejercicios de la unidad
• Talleres: T01 · del texto al vector · T02 · un sistema de PLN de punta a punta
• Actividades guiadas — 5 notebooks
• Actividades entregables — 5 notebooks evaluables, con sus rúbricas
• Notebooks — todos los de la unidad, con descarga y apertura en Colab, en el menú «Notebooks»

18. Evaluación¶

• La normativa exige alcanzar todos los RA del módulo para superarlo (art. 5.1 de la Orden 8/2025: la calificación del módulo está «en función de la consecución de los RA»; y las Instrucciones 26-27, que impiden calificar positivamente un módulo con RA no superados). El centro concreta ese mandato exigiendo ≥ 5 en cada RA.
• EX2 y EX5 llevan una parte escrita que cubre los criterios b, e y f: el papel del lingüista, la cooperación entre perfiles y la formación necesaria. Está en su rúbrica y cuenta.

19. Recuperación¶

Actividades del programa de recuperación individual por RA (art. 14.4 de la Orden 8/2025): construir un sistema de PLN orientado a una tarea distinta —otro dominio, otro tipo de salida— y las pruebas de autoevaluación de la unidad.