Направа на код за сваляне от сайт на информация

[nevidim]

Здравейте на всички,

надявам се да успея да намеря някой, който да може да ми помогне.

Става дума за сайт в който има качена обществена информация, която е за различни райони и е с доста интернет страници (1,2,3 ......), която информация е горе-долу в табличен вид.

Имам вариант, в който за 2-3 дни да си я копирам и прелиствам на следващите страници и да я сваля на ръка и след това да си подредя в екселска таблица.

Търся и моля за съдействие, ако някой може да напише малък код(програмка), която сама да извърши тези действия (просто не знам как се нарича, защото не съм се занимавал никога).

Преди години имах приятел, който програмираше и от друг сайт, тогава сглоби някаква такава програма, буквално за 10 минутки и тогава свърших работа. За съжаление, моят приятел не е сред нас и се обръщам за помощ.

Сайта от който искам да сваля данните е:

https://services.nhif.bg/references/lists/opl.xhtml 

Инфото, което на мен ми трябва е :

Област, Град, Адрес, Телефон/ни и Имената (колкото и да са може да бъде 1 може и повече.

Оставам на разположение за допълнителни въпроси!

Благодаря предварително на всеки отзовал се!

 

[plamen_petrov_80]

Правил съм нещо подобно с Excel, но трябва да се пробва дали ще се получи. Как точно се прави ... беше преди 2-3 години, ще трябва да се търси в интернет отново. Може да опиташ сам в тази насока.

[Петър Ангелов]

Ако тия от НЗОК имаха API, само си наемаш програмист да ти напише приложение и си ти. Ама те нямат (готов съм да се обзаложа, че сайта им е правен от Информационни системи, пък тях като ги знам как за нищо не стават, не се изненадвам). А иначе, май говорим за web scraping, за което не съм сигурен, че има универсално решение, макар че има разни услуги, които предлагат точно това. Освен да ги тестваш една по една...

Редактирано 9 март 2021 от Петър Ангелов (преглед на промените)

[nevidim]

преди 2 часа, Петър Ангелов написа:

Ако тия от НЗОК имаха API, само си наемаш програмист да ти напише приложение и си ти. Ама те нямат (готов съм да се обзаложа, че сайта им е правен от Информационни системи, пък тях като ги знам как за нищо не стават, не се изненадвам). А иначе, май говорим за web scraping, за което не съм сигурен, че има универсално решение, макар че има разни услуги, които предлагат точно това. Освен да ги тестваш една по една...

Аз се поразрових както спомена колегата от предният пост за някакви програми и изнамерих туй онуй, но там се казва, че сваля целият сайт за офлайн разглеждане. Което отново ме довежда до това, че и офлайн да е, то отново ще трябва да си прелиствам страница по страница. 

Та в този ред на мисли, затова се обърнах за съдействие, дали може някой да се отзове, дори и срещу заплащане, някой програмист, който да го сглоби този скрапинг, както му казвате.

 

[Петър Ангелов]

Мда, напълно постижимо е - примерно с Octoparse това го извади бързо (всъщност имаше забавяне, но то е понеже не познавам продукта и нещо обърках в началото).

ObshtinaBlagoevgrad.xlsx

[nevidim]

преди 1 час, Петър Ангелов написа:

Мда, напълно постижимо е - примерно с Octoparse това го извади бързо (всъщност имаше забавяне, но то е понеже не познавам продукта и нещо обърках в началото).

ObshtinaBlagoevgrad.xlsx 26 kB · 1 изтегляне

Тъй като съм в движение и това което успях да видя на телефона, е че наистина си ги свалил, но има вариант някак да ги подреди в някакви колони, както аз желая. (Може и от телефона да е проблема), но ми се видя доста разхвърляна самата таблица.

Благодаря предварително

[Петър Ангелов]

Форматирането да ти е проблема...

[nevidim]

преди 8 часа, plamen_petrov_80 написа:

Правил съм нещо подобно с Excel, но трябва да се пробва дали ще се получи. Как точно се прави ... беше преди 2-3 години, ще трябва да се търси в интернет отново. Може да опиташ сам в тази насока.

Здравейте, благодарение на plamen_petrov_80, всичко е свалено и ми спести няколко дни висене пред компютъра.

Безкрайно съм благодарен за бързата реакция и помощ.

Бъдете живи и  здрави всички!

Благодаря!

[Tommygun]

И как точно го направихте. Кажи ако някой друг търси същото.

По принцип Питон има няколко библиотеки точно за това и е сравнително лесно. Ако ми се наложи аз бих подходил така - само трябва да си опресня лекцията за crawler-ите.

[nevidim]

преди 8 часа, Tommygun написа:

И как точно го направихте. Кажи ако някой друг търси същото.

По принцип Питон има няколко библиотеки точно за това и е сравнително лесно. Ако ми се наложи аз бих подходил така - само трябва да си опресня лекцията за crawler-ите.

Не знам как точно го е направил plamen_petrov_80, но след като говорих с него, ми каза че го е направил ръчно copy/paste, което исках да избегна аз самият, а той се е мъчил (за което отново изкавам огромна Благодарност!!!)

Вие бихте подходили по вашият начин и може би да е още по-лесно!

Веднага казвам защо:

Правейки запитването и молбата за съдействие идеята ми беше точно такава, а т.е когато се стигне до свалянето, конкретни данни да се изнесат в таблицата, но да бъдат в определени колони - областа в една колона, града до нея в друга колона и т.н.

Тъй че аз съм доволен много за помоща, но ако някой може да сътвори програмката, както споменаваш с Питон, Visual, C, C++ или каквоти и да било, може да се включи.

Колоните трябва да следват тази идея:

Област /       Населено място    /     Адрес/и     /  Лекар или лекари /     Телефон или Телефони /

ако има няколко лекари, на един и същи адрес, населено място те да се повторят за всеки един

Благоевград /   Петрич / ул. Някоя си 25 / Д-р Иван Иванов  / 082547889

Благоевград /   Петрич / ул. Някоя си 25 / Д-р Пенка Пенкова  / 082547889

и т.н

@Петър Ангелов, спомена, "това да ми бил проблема" - може би е така,  , но в таблицата абсолютно всичко е едно под друго, ако можеш подай някакви идеи, ще бъда благодарен!

[pix3l]

Стандартната библиотека на Python е пре-достатъчна. Един GET, да вземеш областите, и от там нататък с POST взимаш градовете и лекарите, както те самите са направили. Нищо сложно, бих ти помогнал, ако не беше толкова скучно.

[цър-вул]

@pix3l, за можещия винаги е лесно, а за неможещия е преодоляване на Еверест...  

[nevidim]

преди 2 часа, pix3l написа:

 Нищо сложно, бих ти помогнал, ако не беше толкова скучно.

Благодаря ти! 

Аз ако можех и съм работил някога с упоменатите програми, навярно нямаше да моля за помощ. След като е скучно, мога да ти пожелая да бъдеш жив и здрав, а аз ще се мъча по някакъв начин.

Интересно ми е, ако бяхме в обратната ситуация, как би се почувствал, при даден от моя страна - същият отговор?

 

[mr mcwolf]

Естеството на въпроса и съдържанието на исканите данни предполага комерсиална употреба.

Та вариантите са или да платиш някой да ти напише скрапер или копи/пасте ръчно. Ти си тръгнал с трици да ловиш маймуни.

[pix3l]

преди 29 минути, nevidim написа:

Благодаря ти! 

Аз ако можех и съм работил някога с упоменатите програми, навярно нямаше да моля за помощ. След като е скучно, мога да ти пожелая да бъдеш жив и здрав, а аз ще се мъча по някакъв начин.

Интересно ми е, ако бяхме в обратната ситуация, как би се почувствал, при даден от моя страна - същият отговор?

 

Това, че някой си има по-интересна работа, няма да засегне чувствата ми. Не е като да нямаш варианти... винаги можеш да ги изкараш ръчно и да си ги подредиш както искаш.

Ако не искаш ръчно, можеш да инвестираш малко време и да научиш как става, или пък инвестираш пари и някой друг се занимава. Избирай умно, в случай, че има шанс пак да се занимаваш с подобна задача.

[nevidim]

преди 1 час, mr mcwolf написа:

Естеството на въпроса и съдържанието на исканите данни предполага комерсиална употреба.

Та вариантите са или да платиш някой да ти напише скрапер или копи/пасте ръчно. Ти си тръгнал с трици да ловиш маймуни.

Ето това ни е проблема. Да се намираш в сайт за помощ и да говориш за пари. Въпреки че в един от постовете съм споменал, че може и срещу заплащане, но да стане както аз го искам. Що се отнася до комерсиалната употреба, все си мисля, че за обществено достъпни неща, за АБСОЛЮТНО ЛИЧНА УПОТРЕБА, не можете да ми намеквате по никакъв начин. Комерсиалното, се счита онзи момент, в който дадена информация е забранена и излишно е упоменато, че не може да се използва, което в случаят не е така.

преди 1 час, pix3l написа:

Това, че някой си има по-интересна работа, няма да засегне чувствата ми.

То тогава мисля че след като някой си има по-интересна работа, в случая не би било редно да се намесва и лекичко да "дразни", че хем може да го направи, хем е толкова елементарно за него, че не му се занимава. 

Господа, ако искате помагайте, ако искате НЕ помагайте.

Колелото в този живот се върти и всеки си намира "майстора", каквото посее, това ще пожъне човек! 

Желая ви много успехи и крепко здраве и дано не дойде ден при вас, в който за каквото и да било, да не ви се налага да имате нужда от нещо, с което никога не сте занимавали и се намерят хора, които да го разбират и да ви кажат, че е прекалено елементарно за тях и не им се занимава. 

Оставям запитването ми отворено, ако все пак някой друг реши да помогне. 

И отново с безброй благодарности към plamen_petrov_80 !

Благодаря

[mr mcwolf]

Сладур, дай ще ти помогна, няма проблеми. Кажи точно какво те затруднява?

Само че, дали правиш разлика между ПОМОЩ и това някой да седне да работи вместо теб (щото точно това разбираш под помощ). А ако някой ще работи вместо теб, то е редно да получи възнаграждение за трудът си (нещо което много удобно забравяш).

Разбира се, когато ловиш маймуни с трици, възнаграждението е "много ще съм благодарен" и "искрена" изненада, че липсват глупаци (е намират се по някога) които да се емнат да "помагат".

[plamen_petrov_80]

преди 8 часа, nevidim написа:

Колоните трябва да следват тази идея:

Област /       Населено място    /     Адрес/и     /  Лекар или лекари /     Телефон или Телефони /

ако има няколко лекари, на един и същи адрес, населено място те да се повторят за всеки един

Благоевград /   Петрич / ул. Някоя си 25 / Д-р Иван Иванов  / 082547889

Благоевград /   Петрич / ул. Някоя си 25 / Д-р Пенка Пенкова  / 082547889

и т.н

Хвърлих един бегъл поглед на данните, според мен точно такава подредба автоматично генерирана ще е доста сложна да се направи.

Има много разнородни данни:

- веднъж трябва да се водим от броя на лекарите - от 1 до 10 (може и повече да има някъде)

- втори път едно резултат има 3 адреса ... но само един доктор.

Телефони аз виждам само на едно място - дали е на управител, болнично заведение или на доктор и кой от всичките ...

И така:

Област - това е лесно, данните в момента са сортирани по това

Населено място - малко играчка и това би трябвало да се получи някак, но има доктори с няколко адреса ...

Адрес/и - като горното

Лекар или лекари - просто са изброени, различни бойки, може би автоматично само по един може да се извади, колко е нужна тази информация не мога да знам.

остана телефона - те са в обща графа както виждам - би трябвало да могат да бъдат прихванати автоматично.

Ако имаш самата база на сайта, със сигурност може да направиш всичко това, но от генерираните данни и поставените условия аз считам задачата за ... онзи филм с чичо Том. Все пак ако някой иска да се пробва - сайта е общодостъпен :)

[nevidim]

преди 1 час, mr mcwolf написа:

Сладур, дай ще ти помогна, няма проблеми. Кажи точно какво те затруднява?

Сладур, все си мисля че този сайт е добронамерен и всеки който се е регистрирал се е съгласил да бъде полезен по някакъв начин със своите знания.

Или правиш регистрация и на чужд гръб си търсиш клиенти, чрез сайта.

Помагал съм безброй пъти за нищо, хей така, защото съм знаел как да го направя и съм виждал че нуждаещият се, няма или никога не се е занимавал с нещата от които има нужда от помощ (както е в моят случай, както никога не съм програмирал на Питони, Змиорки, и тем подобни програми).

Никой не карам на сила, с най-добри намерения помолих за помощ, а до момента с изключение само на един Човек, всичко останало е с отговори - за баири, трудности и т. н., Че било прекалено лесно, но не му се занимава. 

Нямам лоши чувства към никого, но да видя жена на пътя със спукана гума, която няма нито крик, нито ключ за гуми и никога не е сменявала спукана гума и да ме спре за да й помогна, а в същото време аз да имам всичките познания и да знам как бързо да й помогна за да продължи напред, да взема да й кажа, защо си мислиш, че съм баламурняк и очакваш аз да ти свърша работата или ти с трици, маймуни ли искаш да ловиш, т.е без заплащане, при положение че сам съм спрял и съм разгледал проблема й - Е, не го разбирам! 

Виж сега, ще го напиша за пореден път НИКОГА НЕ СЪМ ПРОГРАМИРАЛ И НЯМАМ НАМЕРЕНИЕ ДА ГО ПРАВЯ, заради една таблица и база данни.

Ще ми отнеме повече време и ако трябва ще си го направя на ръка, защото никога не съм бил готованко, както се опитваш ти да ме опишеш. 

Би ли ми дал наистина едно логично обяснение, защо ако знае човек свърх, мега лесен начин една работа да се свърши лесно и всичко да се приключи, все го обръщаме на мързел, плащане, че все този който го прави е "тъпичкия", "прецакания" и т.н.

На никого който не познавам не съм правил характеристики

[pix3l]

Не си безпомощен, имаш вариант да го направиш на ръка, така че можем да подминем без да ти вършим работата.

[mr mcwolf]

Аз не го ли написах вече? ОК, ще ти помогна да СВЪРШИШ работата. Кажи какво те затруднява.

Ако искаш обаче друг да я свърши ВМЕСТО теб, ще си платиш: 200 кинта за данните а ако искаш самия кратер с кокто са свалени 2000.

[Tommygun]

Последно свърши ли си работа или не си?

Днес или утре довършвам една програма и мога да седна малко да ти напиша един скрипт.

Като гледам обаче сайта наистина няма лесен достъп до  данните и това усложнява леко нещата.

[nevidim]

преди 13 часа, Tommygun написа:

Последно свърши ли си работа или не си?

Днес или утре довършвам една програма и мога да седна малко да ти напиша един скрипт.

Като гледам обаче сайта наистина няма лесен достъп до  данните и това усложнява леко нещата.

Правя всичко на ръка. То не са две имена то са толкова много, но лека полека ги нареждам.

Тези са го правили с подръчни материали, но това е.......

Довърши си нещата, не се притеснявай.

То лошото е че подребата е всичко едно под друго, а след това пък аз ги подреждам по критериите, които на мен ми трябват.

Какво ли не съм правил и все някак съм се справял, но тази информация ще я запомня за дълго време.