Wikidata преминава към векторно търсене: как това ще промени обработката на информация за системите с изкуствен интелект

Новият стандарт Wikidata Embedding Project ще сложи край на измислените факти от чатботовете.

Wikimedia Deutschland представи нов проект за улесняване на системите за изкуствен интелект при използването на данни от Уикипедия и сродните ѝ платформи.

Системата се нарича Wikidata Embedding Project (Проект за вграждане на данни в Уикиданни). Тя се базира на векторното семантично търсене, което позволява на компютрите да разбират по-добре значенията на думите и техните взаимовръзки. Технологията обхваща почти 120 милиона записа и прави работата с информацията по-гъвкава и точна.

Един от ключовите елементи е поддръжката на Model Context Protocol (MCP) – стандарт, който позволява на моделите да взаимодействат директно с базите от знания и да обработват заявките на естествен език.

Проектът беше реализиран от Wikimedia Германия в сътрудничество с Jina.AI (търсене чрез невронни мрежи) и DataStax (структурирани данни за обучение, част от IBM).

Преди това Wikidata предоставяше машинночитаема информация, но търсенето беше ограничено до ключови думи и специализирани заявки на SPARQL. Новият формат се фокусира върху съвременните системи за разширено търсене (RAG), които използват външни източници, което подобрява точността на отговорите и позволява използването на проверени от редакторите данни от Уикипедия.

Данните в проекта за вграждане са структурирани така, че да осигуряват семантичен контекст. Така например при запитване за думата „учен“ може да се получи списък с известни учени, преводи на различни езици, изображения от библиотеките на Уикимедия и свързани термини като „изследовател“ или „учен“.

Базата данни вече е публично достъпна в Toolforge.

Ръководителят на проекта Wikidata AI Филип Саадех заяви, че инициативата подчертава независимостта на Wikimedia.

„Това начало показва, че не е задължително мощният изкуствен интелект да се контролира само от няколко компании. Той може да бъде отворен, съвместен и създаден за всички“, каза той.