В сряда платформа за бяла дъска, наречена „tldraw“, предизвика голям интерес. Като пусна прототип на функция, наречена „Make it Real“, която позволява на потребителите да нарисуват изображение на софтуер и да го осъществят с помощта на ИИ. Функцията използва GPT-4V API на OpenAI за визуална интерпретация на векторен чертеж във функциониращ Tailwind CSS и JavaScript уеб код.
Може да възпроизвежда потребителски интерфейси или дори да създава прости реализации на игри като Breakout.
„Мисля, че трябва да си легна“, публикува дизайнерът Кевин Кенън в началото на популярна поредица от постове в X.
Тя включва създаването на функциониращи плъзгачи, които въртят обекти на екрана, интерфейс за промяна на цветовете на обекти и работеща игра на морски шах. Скоро последваха други с демонстрации с клонинг на играта „Breakout“, създаване на работещ и тиктакащ часовник с циферблат, игра „Змия“, игра „Понг“, интерпретиране на визуална диаграма и какво ли още не.
Потребителите могат да експериментират с Make It Real онлайн.
Изпълнението му обаче изисква предоставяне на API ключ от OpenAI. Компанията таксува според количеството данни, които се движат в и от неговия API интерфейс. Тези, които имат технически талант, могат да изпълняват кода и локално, но все пак ще изисква достъп до OpenAI API.
Tldraw, разработен от Стив Руиз в Лондон, е инструмент от типа бяла дъска за съвместна работа с отворен код.
Той предлага основно безкрайно платно за рисуване, текст и медии, без да се изисква вписване в акаунт. Стартиран през 2021 г., проектът получи 2.7 милиона долара първоначално финансиране и се подкрепя от спонсори като GitHub. Когато GPT-4V API стартира наскоро, Руиз интегрира прототип на дизайн, наречен „draw-a-ui“, създаден от Sawyer Hood, за да внесе функционалността, задвижвана от ИИ, в tldraw.
GPT-4V е версия на големия езиков модел на OpenAI, който може да интерпретира визуални изображения и да ги използва като подкани.
Както експертът по изкуствен интелект Саймън Уилисън обяснява в X, Make it Real работи по следния начин:
Генерира base64 кодиран PNG на начертаните компоненти, след което го предава на GPT-4 Vision със системна подкана и инструкции за превръщане на изображението във файл с помощта на Tailwind. Ето един преведен пример на подкана, която казва на GPT-4V как да обработва входовете и да ги превръща във функциониращ код:
const systemPrompt = ‘Ти си опитен уеб разработчик, който се специализира в tailwind css.
Потребителят ще ти предостави рамка на приложение с ниска точност.
Ще върнеш един html файл, който използва HTML, Tailwind css и JavaScript за създаване на уебсайт с висока прецизност.
Включи всички допълнителни CSS и JavaScript елементи в html файла.
Ако има изображения, зареди ги от Unsplash или използвай плътно оцветени правоъгълници.
Потребителят ще ти предостави бележки в син или червен текст, стрелки или рисунки.
Потребителят може също да включва изображения на други уебсайтове като стилови препратки. Прехвърли стиловете възможно най-добре, напасвайки шрифтове / цветове / оформления.
Може да ти предостави html на предишен дизайн, от който иска да заимстваш.
Извърши всички промени, които поиска от теб.
В рамката html кодът на предишния дизайн ще се появи като бял правоъгълник.
Използвай творчески лиценз, за да направиш приложението по-пълноценно.
Използвай JavaScript модули и unpkg, за да импортираш всички необходими зависимости.’
Все повече хора експериментират с GPT-4V и го комбинират с други инструменти.
Предстои да видим още нови приложения на технологията за обхождане и интерпретиране на изображения на OpenAI през следващите седмици.
Всичко важно от света на технологиите, директно в пощата ти.
С абонирането приемате нашите Условия и Политика за поверителност. Може да се отпишете с един клик по всяко време.
Коментирайте статията в нашите Форуми. За да научите първи най-важното, харесайте страницата ни във Facebook, и ни последвайте в Google Новини, TikTok, Telegram и Viber или изтеглете приложението на Kaldata.com за Android, iPhone, Huawei, Google Chrome, Microsoft Edge и Opera!
