Parallel Web Systems presenta su API de búsqueda: la búsqueda web más precisa para agentes de IA.

Sistemas web paralelos Una startup dedicada a crear una nueva infraestructura web a medida para agentes de IA ha lanzado la API de Búsqueda Paralela, una herramienta de búsqueda web diseñada específicamente para optimizar la entrega de datos web relevantes y con un uso eficiente de tokens al menor coste. Esta innovación busca proporcionar respuestas más precisas, reducir el número de solicitudes y disminuir los costes para los agentes de IA.

Los motores de búsqueda tradicionales están diseñados para usuarios humanos. Clasifican las URL partiendo de la base de que los usuarios harán clic para acceder a una página, optimizando las búsquedas por palabras clave, las tasas de clics y los diseños de página pensados ​​para la navegación; todo ello en milisegundos y a un coste mínimo. La primera generación de API de búsqueda basadas en IA intentó adaptar este modelo de búsqueda centrado en el usuario a la IA, pero no abordaron por completo los requisitos únicos de Agentes de inteligencia artificial .

A diferencia de los usuarios humanos, la búsqueda mediante IA requiere un enfoque distinto: en lugar de clasificar las URL para obtener clics humanos, se centra en determinar los tokens más relevantes para colocarlos en la ventana de contexto del agente de IA y así ayudarlo a completar una tarea. El objetivo no es optimizar la interacción humana, sino mejorar el razonamiento y la toma de decisiones dentro del modelo de IA.

Esta nueva arquitectura de búsqueda incluye varias innovaciones clave: emplea objetivos semánticos que van más allá de la coincidencia de palabras clave para capturar la intención del agente, prioriza la relevancia del token sobre las métricas de página centradas en el usuario, ofrece información condensada y de alta calidad para el razonamiento y resuelve consultas complejas con una sola llamada de búsqueda en lugar de múltiples pasos.

Al utilizar este diseño de búsqueda basado en IA, los agentes pueden acceder a tokens web con mayor densidad de información dentro de su ventana de contexto, lo que conlleva menos llamadas de búsqueda, mayor precisión y reducción de costes y latencia.

Avances en la búsqueda web compleja y multiorigen para agentes de IA 

Si bien muchos sistemas de búsqueda actuales se centran en responder preguntas sencillas, se prevé que aumente la necesidad de búsquedas más complejas y multifacéticas. Tanto los usuarios como los agentes de IA requerirán cada vez más respuestas que impliquen sintetizar información de múltiples fuentes, razonar sobre tareas complejas y acceder a contenido web de difícil acceso.

Para hacer frente a esta creciente demanda, Parallel evaluó el rendimiento de su API de búsqueda en varias pruebas comparativas, desde tareas complejas de múltiples saltos (por ejemplo, BrowseComp) hasta consultas más sencillas de un solo salto (por ejemplo, SimpleQA).

Parallel demostró una ventaja en consultas más complejas: aquellas que abarcan múltiples temas, requieren una comprensión profunda de contenido difícil de indexar o implican la síntesis de información de fuentes dispersas. En pruebas de rendimiento diseñadas para razonamiento multietapa, como HLE, BrowseComp, WebWalker, FRAMES y Batched SimpleQA, Parallel no solo ofreció mayor precisión, sino que también resolvió las consultas de manera más eficiente, utilizando menos pasos de razonamiento.

Las API de búsqueda tradicionales suelen requerir múltiples búsquedas secuenciales, lo que aumenta la latencia, amplía las ventanas de contexto, incrementa el coste de los tokens y reduce la precisión. En cambio, el enfoque de Parallel permite resolver consultas más complejas en una sola llamada de búsqueda, lo que se traduce en menos consultas secuenciales, mayor precisión, costes reducidos y menor latencia.

Cuando se probó en pruebas comparativas más simples de un solo salto, como SimpleQA, que implican consultas fácticas directas, Parallel continuó funcionando bien, aunque el potencial de ganancias de precisión es más limitado en estos escenarios debido a la naturaleza de las consultas.

La capacidad de Parallel para lograr resultados de vanguardia es fruto de dos años de desarrollo de una infraestructura robusta que optimiza cada capa del proceso de búsqueda, mejorando continuamente el rendimiento mediante ciclos de retroalimentación. El sistema se centra en indexar contenido web difícil de rastrear, como sitios web multimodales, archivos PDF extensos y sitios con gran cantidad de JavaScript, minimizando el impacto en los propietarios de los sitios web. El índice web de Parallel es uno de los de mayor crecimiento, con más de mil millones de páginas actualizadas diariamente.

Para la clasificación, Parallel adopta un enfoque distinto al de la búsqueda tradicional. En lugar de clasificar las URL según la tasa de clics de los usuarios, se centra en identificar los tokens más relevantes y con mayor autoridad para el razonamiento del modelo de lenguaje de gran escala (LLM). Los modelos propios de Parallel evalúan la relevancia del token, la autoridad de la página y del dominio, la eficiencia de la ventana de contexto y la validación entre fuentes, priorizando la calidad sobre las métricas de interacción.

API de búsqueda paralela: potenciando los sistemas de IA con datos web de alta calidad y en tiempo real. 

Hoy en día, los desarrolladores más avanzados optan por crear e implementar sistemas de IA utilizando la búsqueda impulsada por Parallel. Estas organizaciones han probado diversas alternativas y reconocen que la calidad de los datos web influye directamente en las decisiones que toman sus agentes de IA. Ya sea el agente de codificación de Sourcegraph Amp resolviendo errores, Claygent optimizando cada decisión de lanzamiento al mercado, Starbridge descubriendo solicitudes de propuestas gubernamentales o una aseguradora líder suscribiendo reclamaciones con mayor eficacia que los suscriptores humanos, el rendimiento de estos sistemas depende de la precisión y relevancia de los datos web en los que se basan.

La API de búsqueda de Parallel constituye la infraestructura principal que da soporte a sus agentes web. Por ejemplo, la API de tareas de Parallel, que gestiona consultas complejas de enriquecimiento e investigación en varios pasos, se basa en la API de búsqueda. Todas las consultas de la API de tareas que se ejecutan en producción dependen de la API de búsqueda para funcionar a la perfección en segundo plano.

Este enfoque arquitectónico establece un alto estándar para Parallel, ya que cualquier mejora en el rendimiento, la latencia o la calidad de la búsqueda repercute directamente en los sistemas de producción que procesan millones de consultas diarias. Cualquier caso de ineficiencia o imprecisión en la API de búsqueda se percibe de inmediato en los productos que dependen de ella.

Como resultado, la infraestructura de Parallel se perfecciona y se somete a pruebas rigurosas bajo las exigencias reales de las cargas de trabajo basadas en agentes. La clave para que un agente complete sus tareas con eficacia reside en maximizar la señal y minimizar el ruido en su ventana de contexto. La API de búsqueda de Parallel garantiza que los agentes reciban el contexto más relevante y comprimido de la web, lo que mejora su capacidad para realizar tareas con precisión y eficiencia.