ChatGPT „мисли“ на китайски – потребителите забелязаха йероглифи в обосновката на модела

ChatGPT с езиковия модел o1 прекарва „повече време в мислене“ за по-добър отговор. Потребителите откриха, че понякога се случва „мислене“ на китайски, независимо от езика на заявката.

Изглежда, че алгоритъмът „мисли“ не само на английски, но и на други езици и по-специално на китайски. Повечето хора обръщат внимание само на крайния отговор, но потребителите имат възможност да видят как ChatGPT го конструира и рационализира. В този момент мнозина са забелязали, че LLM е започнал да включва мандарин и кантонски в процеса. Моделът използва и други езици.

„Защо o1 pro изведнъж започна да мисли на китайски? Нито една част от разговора (5+ съобщения) не беше на китайски… много интересно… влияние на данните за обучение“, попита Rishabh Jain в X. Други потребители с подобни въпроси тагнаха OpenAI и ChatGPT в своите публикации, но нямаше отговори.

Най-простото нещо, което идва на ум, е използването на китайски данни за обучението на модела. Представители на индустрията и по-специално Илон Мъск, признават липсата на данни за обучението на моделите. Но по-сложното обяснение се крие в принципа на действие на езиковите модели, които се наричат ​​така с причина. Може би въпросът е, че другите езици работят по различен начин и могат да бъдат по-ефективни при генерирането на отговор. Моделът открива, че в дадена ситуация китайският или други конструкции ще работят по-добре и на потребителя се предоставя окончателният отговор на езика, на който той задава заявката.

Истинската причина е трудна за установяване поради затворените езикови модели и това не се дължи само на корпоративните ограничения. OpenAI веднъж призна, че всъщност не знае как работи GPT моделът. Всъщност разработчиците знаят само техническата страна и в по-малка степен как точно „мисли“ моделът. В момента OpenAI не е предоставил отговори на потребителските въпроси или искания от журналисти. Не е изключено компанията просто да не не знае за тях.