Jump to content
¯\_( ツ)_/¯
  • TAD GROUP are currently hiring penetration testers. Please read the topic in Career Central subforum.
  • Sponsored Ad
Avatara

КАКВО Е WEB-СНИФЪР И ЗАЩО СЕ РАЗЛИЧАВА ОТ ПАКЕТНИЯ?

Recommended Posts

КАКВО Е WEB-СНИФЪР И ЗАЩО СЕ РАЗЛИЧАВА ОТ ПАКЕТНИЯ?

(отговор на Kestena)

Web-снифърите са инструменти за анализ на съдържанието и свързаните с него събития на един web-документ.

Важно е да се прави разлика между парсери и web-снифъри. Парсерите са просто елемент от web-снифъра.

Pic_001.png.92c14241f7b2b61ecec94a7d5b243d0d.png

 

На изображението можете да видите един типичен web-снифър. В посоченият пример се анализира abv.bg.

Ясно се вижда как браузърът и web-сървърът осъществяват комуникация (полето Process Control). Можете да видите всяка една операция, осъществена в рамките на 718 ms, времето за което странницата се е отворила. Освен това web-снифърите визуализират и обмена на команди между браузъра и сървъра.

Съществуват два режима на анализ - автоматичен и полуавтоматичен. 

За тези, които знаят какво са регулярни изрази и как се използват интерес би представлявал полуавтоматичният режим.

Ето един типичен пример за неговото използване.

 

Pic_002.png.30edb3f5509a136206b3dfafe8cdb263.png

Ясно се вижда, че посредством подходящ регулярен израз, може да получим абсолютно всички хипертекстови препратки, намиращи се на една web-странница.

Мисля, че от тук не би представлявал никакъв проблем да си направим собствен "паяк", който да е в състояние да сваля залата информация, съдържаща се в един web-документ, без значения как тя е физически разпределена в internet.

И последното, което не е нещо ново или гениално, но определено върши доста добра работа е възможността да се анализират събитията, свързани с конкретен компонент от web-документа.

Pic_003.png.b92f797cc497679b9cc7870ecb1b47d5.png

 

Съществуват и други интересни възможности, като директната обработка на Hipertext Preprocessor (PHP) и не само, но те са тема за отделни разглеждания. 

Pic_004.png.b1128bdcf05cae371943e045d561a621.png

Като цяло web-снифърите са изключително полезен инструмент, който може да облекчи в голяма степен ежедневната ни дейност.

Забележка: Web-снифърите емулират web-браузър, без самите те да са такива. Може да тествате различни user-агенти, за да видите как биха реагирали сървърите (нали си спомняте за онези забавни съобщения, че ползвате морално остарял браузър).

 

Сподели публикацията


Адрес на коментара
Сподели в други сайтове

Как се казва web-снифърът,който използвате?Ако може също да дадете линк откъдето можем да си го свалим?

Сподели публикацията


Адрес на коментара
Сподели в други сайтове

@Avatara , гледам туловете и все не разбирам ... защо все по трудния начин. Цалата функционалност нужна за да се тестват странички, както и да се виждат всички динамични, статични елементи и лог от http requests и responses + всчкакви нови ws щуротии, може да бъде намерени в Kali дистрибуцията. Пусни си  burp от Portswigger, това е стандарта за индустрията. А ако искате динамично инструментиране на заявките аз ползвам mitmproxy пред burp защото има мн добри python bindings, и е лесно за reloading и debugging на промените които правите.

 

И web sniffer ми звучи също мн фенси, нека пробваме със локално socks proxy :)

Редактирано от d3k4z

Сподели публикацията


Адрес на коментара
Сподели в други сайтове

Обяснявам съвсем простичко. 

Web Page Analyzer НЕ ТЕСТВА НИКАКВИ WEB-РЕСУРСИ. АГРЕГАТОРЪТ НЕ Е ТЕСТЕР. ТОВА Е КАТО ДА КАЖЕМ, ЧЕ БАГЕРЪТ И ВОДНАТА ПОМПА СА ЕДНО И СЪЩО НЕЩО, ЧЕ И ДА ПРАВИМ СРАВНЕНИЯ. :D

Предназначението му е съвсем различно и поне към момента не съм видял някъде да има подобен аналог.

Преди години Google се напънаха да сътворят нещо подобно, но проектът се провали. В момента правят нещо подобно, но силно къстомизирано и само и единствено за корпоративни клиенти.

Burn Suite  (нали не бъркам продукта, но мисля, че става дума точно за него: https://portswigger.net/burp ) е нещо диаметрално различно от това, което показвам.

Да започнем с най-елементарното сравнение, за което многократно съм писал, писал, писал, писал ... :D

КАКВО ПРАВИМ АКО СЕ НАЛАГА ДА ОБРАБОТИМ НЯКОЛКО МИЛИОНА WEB-ДОКУМЕНТА?

Не не е грешка. В най-леката си версия Web Page Analyzer (нека името не ви подвежда), обработва от 80 000 до 260 0000 web-документа, като в това се включва и изграждането на специализирани бази от данни. Все пак този продукт си е ПЪЛНОЦЕНЕН WEB-АГРЕГАТОР (не анализатор, а агрегатор). Най-близкото подобно нещо за така наречените "web-паяци", но и те са твърде далеч като функционалност. WPA е типичен data mining продукт (не за статистика, а именно за data mining). :D

СТАТИСТИКАТА ПРЕДПОЛАГА, ЧЕ НИЕ РАЗПОЛАГАМЕ С ТЕЗА, КОЯТО ТРЯБВА ДА БЪДЕ ДОКАЗАНА ИЛИ ОБОРЕНА, НО ПРИ ВСИЧКИ СЛУЧАЯ ПОЗНАВАМЕ ОБЕКТА НА ИЗСЛЕДВАНЕ.

ПРИ DATA MINING E РАЗЛИЧНО. ТАМ НЕ ЗНАЕМ ДОСТА НЕЩА.

Burn Suite е един от многото статистически продукти. Ако трябва да бъда обективен дори не ползва много от утвърдените статистически методи (като многофакторен, корелационен анализ и др.), но като се замисля, за да се направи това се изискват познания.

А сега за нещо малко по-сериозно, защото определено също съм писал доста по темата.

Socks proxy Е ПРОТОКОЛ ЗА ПРЕНОС НА ДАННИ, РАЗРАБОТЕН ОТ ДЕЙВ КОБЛАС (DAVE COBLAS)!

 Стандартно Socks ползва портове 1080, 1081. А НЕСТАНДАРТНО? :D

Този протокол се разви доста през последните години и в момента имаме две версии:

1. Socks 4 - поддържа само TCP протокол.

2. Socks 5 - Поддържа TCP, UDP, както и оторизация по потребителско име и парола, а също така и DNS заявки.

Хайде сега да видим какво съм писал за протоколите .... :D

 

ЦИТАТ (НАМИРА СЕ НА ПРЕДХОДНАТА СТРАННИЦА ОТ ТАЗИ ТЕМА):

. . . (не е зле да се чете)

Сега да видим какви протоколи прихваща това, което се учим как се прави. Е, не е кой знае какво но ето списъка с протоколите, които прихваща и анализира. 

0    HOPOPT, IPv6 Hop-by-Hop Option. [ RFC 2460 ]
1    ICMP, Internet Control Message Protocol. [ RFC 792 ]
2    IGAP, IGMP for user Authentication Protocol. IGMP, Internet Group Management Protocol. RGMP, Router-port Group Management Protocol. [ RFC 1112 ]
3    GGP, Gateway to Gateway Protocol. [ RFC 823 ]
4    IP in IP encapsulation. [ RFC 2003 ]
5    ST, Internet Stream Protocol. [ RFC 1190, RFC 1819 ]
6    TCP, Transmission Control Protocol. [ RFC 793 ]
7    UCL, CBT.     
8    EGP, Exterior Gateway Protocol. [ RFC 888 ]
9    IGRP, Interior Gateway Routing Protocol.     
10    BBN RCC Monitoring.     
11    NVP, Network Voice Protocol.     [ RFC 741 ]
12    PUP.     
13    ARGUS.     
14    EMCON, Emission Control Protocol.     
15    XNET, Cross Net Debugger. [ IEN 158 ]
16    Chaos.     
17    UDP, User Datagram Protocol. [ RFC 768 ]
18    TMux, Transport Multiplexing Protocol.    [ IEN 90 ]
19    DCN Measurement Subsystems.     
20    HMP, Host Monitoring Protocol. [ RFC 869 ]
21    Packet Radio Measurement.     
22    XEROX NS IDP.     
23    Trunk-1.     
24    Trunk-2.     
25    Leaf-1.     
26    Leaf-2.     
27    RDP, Reliable Data Protocol.    [ RFC 908 ]
28    IRTP, Internet Reliable Transaction Protocol. [RFC 938 ]
29    ISO Transport Protocol Class 4. [RFC 905 ]
30    NETBLT, Network Block Transfer.     
31    MFE Network Services Protocol.     
32    MERIT Internodal Protocol.     
33    DCCP, Datagram Congestion Control Protocol.     
34    Third Party Connect Protocol.     
35    IDPR, Inter-Domain Policy Routing Protocol.     
36    XTP, Xpress Transfer Protocol.     
37    Datagram Delivery Protocol.     
38    IDPR, Control Message Transport Protocol.     
39    TP++ Transport Protocol.     
40    IL Transport Protocol.     
41    IPv6 over IPv4. [RFC 2473 ]
42    SDRP, Source Demand Routing Protocol.     
43    IPv6 Routing header.     
44    IPv6 Fragment header.     
45    IDRP, Inter-Domain Routing Protocol.     
46    RSVP, Reservation Protocol.     
47    GRE, General Routing Encapsulation.     
48    DSR, Dynamic Source Routing Protocol.     
49    BNA.     
50    ESP, Encapsulating Security Payload.     
51    AH, Authentication Header.     
52    I-NLSP, Integrated Net Layer Security TUBA.     
53    SWIPE, IP with Encryption.     
54    NARP, NBMA Address Resolution Protocol.     
55    Minimal Encapsulation Protocol.     
56    TLSP, Transport Layer Security Protocol using Kryptonet key management.     
57    SKIP.     
58    ICMPv6, Internet Control Message Protocol for IPv6. MLD, Multicast Listener Discovery.     
59    IPv6 No Next Header.     
60    IPv6 Destination Options.     
61    Any host internal protocol.     
62    CFTP.     
63    Any local network.     
64    SATNET and Backroom EXPAK.     
65    Kryptolan.     
66    MIT Remote Virtual Disk Protocol.     
67    Internet Pluribus Packet Core.     
68    Any distributed file system.     
69    SATNET Monitoring.     
70    VISA Protocol.     
71    Internet Packet Core Utility.     
72    Computer Protocol Network Executive.     
73    Computer Protocol Heart Beat.     
74    Wang Span Network.     
75    Packet Video Protocol.     
76    Backroom SATNET Monitoring.     
77    SUN ND PROTOCOL-Temporary.     
78    WIDEBAND Monitoring.     
79    WIDEBAND EXPAK.     
80    ISO-IP.     
81    VMTP, Versatile Message Transaction Protocol.     
82    SECURE-VMTP     
83    VINES.     
84    TTP.     
85    NSFNET-IGP.     
86    Dissimilar Gateway Protocol.     
87    TCF.     
88    EIGRP.     
89    OSPF, Open Shortest Path First Routing Protocol. MOSPF, Multicast Open Shortest Path First.     
90    Sprite RPC Protocol.     
91    Locus Address Resolution Protocol.     
92    MTP, Multicast Transport Protocol.     
93    AX.25.     
94    IP-within-IP Encapsulation Protocol.     
95    Mobile Internetworking Control Protocol.     
96    Semaphore Communications Sec. Pro.     
97    EtherIP.     
98    Encapsulation Header.     
99    Any private encryption scheme.     
100    GMTP.     
101    IFMP, Ipsilon Flow Management Protocol.     
102    PNNI over IP.     
103    PIM, Protocol Independent Multicast.     
104    ARIS.     
105    SCPS.     
106    QNX.     
107    Active Networks.     
108    IPPCP, IP Payload Compression Protocol. [ RFC 2393 ]
109    SNP, Sitara Networks Protocol.     
110    Compaq Peer Protocol.     
111    IPX in IP.     
112    VRRP, Virtual Router Redundancy Protocol. [RFC 3768, RFC 5798 ]
113    PGM, Pragmatic General Multicast.     
114    any 0-hop protocol.     
115    L2TP, Level 2 Tunneling Protocol. [ RFC 3931 ]
116    DDX, D-II Data Exchange.     
117    IATP, Interactive Agent Transfer Protocol.     
118    ST, Schedule Transfer.     
119    SRP, SpectraLink Radio Protocol.     
120    UTI.     
121    SMP, Simple Message Protocol.     
122    SM.     
123    PTP, Performance Transparency Protocol.     
124    ISIS over IPv4.     
125    FIRE.     
126    CRTP, Combat Radio Transport Protocol.     ( Признавам, че този ми е любим ) 
127    CRUDP, Combat Radio User Datagram.     
128    SSCOPMCE.     
129    IPLT.     
130    SPS, Secure Packet Shield.     
131    PIPE, Private IP Encapsulation within IP.     
132    SCTP, Stream Control Transmission Protocol.     
133    Fibre Channel. [ RFC 6172 ]
134    RSVP-E2E-IGNORE.    [ RFC 3175 ]
135    Mobility Header. [ RFC 3775 ]
136    UDP-Lite, Lightweight User Datagram Protocol. [ RFC 3828 ]
137    MPLS in IP. [ RFC 4023 ]
138    MANET protocols. [ RFC 5498 ]
139    HIP, Host Identity Protocol. [ RFC 5201 ]
140    Shim6, Level 3 Multihoming Shim Protocol for IPv6. [ RFC 5533 ]
141    WESP, Wrapped Encapsulating Security Payload.     [ RFC 5840 ]
142    ROHC, RObust Header Compression. [ RFC 5858 ]

. . . 

и т.н и т.н.

Край на цитата. :D 

 

ТА КОЛКО СА ИЗБРОЕНИТЕ ПРОТОКОЛИ И КОЛКО ОТ ТЯХ СЕ ПОДДЪРЖАТ ОТ SOCKS?

Молбата ми е да не правим сравнение между влак и кораб. Едното плува, а другото се движи по релси. Разликата е много голяма. :D

 

Хайде сега да погледнем на въпроса под друг ъгъл. 

ЗА КОЛКО ВРЕМЕ ЩЕ НАУЧИШ ЕДИН ЧОВЕК, КОЙТО НЕ ПРИТЕЖАВА СПЕЦИАЛИЗИРАНИ ПОЗНАНИЯ ДА РАБОТИ С РЕГУЛЯРНИ ИЗРАЗИ?

На мен ще са ми нужни два часа.

Това, че ние знаем нещо, защото имаме някаква квалификация не означава, че всички други го знаят.  А ако се налага да се обучи екип? А ако се налага да работим не "на парче" а в големи обеми? Тогава какво ще правим? 

Сега малко за Kali Linux. 

Писах, писах, писах, писах .... ама явно никой не чете.

LINUX E НАСЛЕДНИК НА UNIX С ВСИЧКИ ПРОИЗТИЧАЩИ ОТ ТОВА ПОСЛЕДСТВИЯ!

В ЦЕЛИЯТ СВЯТ НЯМА ОТКС (ОПЕРАТИВНО ТАКТИЧЕСКА КОМПЮТЪРИЗИРАНА СИСТЕМА), КОЯТО ДА ПОЛЗВА LINUX! НЯМА И PPS СИСТЕМА, КОЯТО ДА ПОЛЗВА LINUX ИЛИ GPS. ПРИЧИНИТЕ СА В СТАНДАРТИТЕ И ИЗИСКВАНИЯТА ЗА ЛИЦЕНЗИРАНЕ.

Така е и с апаратната част, но и там в България битуват някакви офисни представи, от средата на 90-те години на миналия век. 

РАЗБЕРЕТЕ, ЧЕ ИМА ОГРОМНА РАЗЛИКА МЕЖДУ ТОВА, КОЕТО ВИЕ ПРИЕМАТЕ ЗА "КОМПЮТЪР" (РАБОТНА СТАНЦИЯ, СЪРВЪР) И ТОВА, КОЕТО НАИСТИНА Е КОМПЮТЪР (РАБОТНА СТАНЦИЯ, СЪРВЪР) ЗА РАБОТА!

Това важи и за мониторите и за клавиатурите. Боклука, който струва до 5 000 BGL си е  най-обикновен боклук и става само за домашна употреба.

 

COMP_001.png.3f436ef4993c7148235338c33b6f9a60.png

ТАКА ИЗГЛЕЖДА ИСТИНСКИЯТ КОМПЮТЪР, А НЕ ДОМАШНИТЕ КАЛКУЛАТОРИ С МОНИТОР.

 

Това нещо се завива към пода със специални дюбели и болтове. Не се шегувам, а съм напълно сериозен. Ако му дръпнете щепсъла ще работи без проблем поне шест минути. Може да взривите върху него ръчна граната или осколъчен заряд. Няма да му навреди. Това е "нормален компютър. :D

 

А ТОВА Е ЕЛЕМЕНТ, КОЙТО ДОНЯКЪДЕ ВИ Е ПОЗНАТ (ВИЗИРАМ USB И RS-232 ВХОДОВЕТЕ

COMP_002.png.57ffdcfd097a871eaeb01c7db2145d55.png

И още ... :D

ИМА ОГРОМНА РАЗЛИКА МЕЖДУ АДМИНИСТРИРАНЕ НА ОПЕРАЦИОННА СИСТЕМА И СЪЗДАВАНЕ НА РАБОТЕЩИ НАДПЛАТФОРМЕНИ ПРИЛОЖЕНИЯ!

ОСВЕН LINUX ИМАМЕ И ПОЗНАТИТЕ  UNIX, iOS, Android, Windows. 

ИМА И ДРУГИ ОПЕРАЦИОННИ СИСТЕМИ , НО ТЕ СА ТЕМА НА ДРУГ ВИД РАЗГЛЕЖДАНИЯ.

Тази тема е ЗА ПРОФЕСИОНАЛНО ПРОГРАМИРАНЕ И ТОВА ВКЛЮЧВА И ОБСЛЕДВАНЕ НА ПРОТОКОЛИ ИЗВЪН TCP, UDP.

Тази тема разглежда OSI-модела в дълбочина. Въпроси, свързани с администриране на Linux и/или други ОС, не са предмет на разглеждане (поне до момента). Темата е по-скоро за програмиране, а примерите служат за онагледяване на написаното.

И когато се посочват програмни продукти не е зле да се спомене, че са платени (комерсиални), за да не ни обвинят в реклама. Това, което аз показвам е отворен код, на конкретни модули и това, което се публикува е БЕЗПЛАТНО. Правя го само и единствено с образователна цел. Ако някой иска да прави реклама на фирми, които са обвързани с определени структури ... мисля, че мястото не е тук.

Надявам се да бъда разбран правилно.

Пак повтарям ...

 

ТУК СЕ ПИШЕ ЗА ПРОФЕСИОНАЛНИ ПРОДУКТИ И СИСТЕМИ И СВЪРЗАНИТЕ С ТЯХ ВЪПРОСИ. 

Дезинформацията, манипулацията и когнитивното въздействие на подрастващите са от компетенцията на други лица.

Нека бъдем поне малко коректни и да не подвеждаме аудиторията. :D

 

 

Редактирано от Avatara

Сподели публикацията


Адрес на коментара
Сподели в други сайтове

Лесно е само в кръчмата, но и там искат да се плаща. :D

Идеята ми бе днес да поговорим за криптоанализа и за най-голямата манипулация в историята на IT-бизнеса, но ще оставя темата за по-добри времена.

Времето ми е твърде ограничено, а и скоро ще отсъствам за по-дълъг период.

Но пък се надявам да съм изчистил недоразуменията с протоколите и с това кое какво анализира и анализирали въобще или прави нещо друго. Все пак има разлика между свойства (properties) и събития (events). 

 

Редактирано от Avatara

Сподели публикацията


Адрес на коментара
Сподели в други сайтове
На 2.07.2018 г. at 23:42, TobsterBG написа:

можехте да използвате Acunetix WVS

Acunetix Web Vulnerability Scanner е много добра програма, но тя е тясно специализирана. на практика тя е типичен инструмент за откриване на уязвимости в web-сървъри и web resursi.

В редица случаи опасностите обаче са на друго ниво (вече съм писал за пакетната стеганография и не само). Съвременните заплахи използват по-често OSI,  и много по-рядко web. Държа да подчертая, че тук не включвам т.н. "социален инженеринг", който е от сферата на приложната психология, а не технически въпрос.

Acunetix Web Vulnerability Scanner притежава една много интересна функция Target Finder. Макар да се асоциира с търсачка на обекти, това е функция, която позволява анализ на групи от IP адреси, за откриване на HTTP/HTTPS. Хубаво, но преди повече от два месеца показах на Kestena как се прави това, че и в добавка как се сканира за отворени портове. При това не просто се прави сканиране на портовете, но и ни казва кой порт за какво може да се ползва. Да не говорим за анализа на "желязото" зад порта.

Друга интересна подробност е Authentication Tester. Тества за пароли. И тук имаме ограничение. Това се прави само посредством проба/грешка. Просто казано - прилагане на груба сила. Определено неефективен подход.

За мен лично много полезна функция е Troubleshooter Wizard. Открива неизправности във web документа.

Но всичко това не е точно онова, за което дискутираме. Ние говорим за съвсем различни неща.

 

Категорично Acunetix Web Vulnerability Scanner не поддържа събитийно анализиране (поправете ме ако греша).

 

Има и още ...

Знаете ли какво е "информационен излишък"? А "сиви данни"?

Приложната статистика е само елемент от един много по-сложен процес на анализ. 

 

Acunetix Web Vulnerability Scanner ползва статистически методи, познати на всеки един SEO специалист. В това отношение е много полезен инструмент. Въпросът е в това, което е извън хипертекстовите препратки и скриптовете.

Вижте, и моля да бъда разбран правилно. Аз много добре знам какво и как точно го правят колегите. Въпросът обаче не е в това както те правят, защото аз не съм от категорията "масов потребител", а какво мога да направя аз за да си свърша работата. 

 

Най-лесно е да се гледа какво правят другите и да казваме колко са велики. Прекрасно, наистина са работили и са направили нещо. А ние какво правим? Всеки що-годе интелигентен човек може да се научи да ползва един или друг продукт. А как се прави такъв продукт, ще ми обясните ли?

 

Искате ли да Ви дам елементарен пример?

 

Вие ползвате GSM апарат. Хайде сега ми обяснете "просто" устройството на апарата и как функционира, след което ме научете как аз да си правя GSM апарати. Ама така, че аз веднага да започна да си ги правя сам, а не да възлагам на някой да ми ги прави, защото знае как.

 

Научете ме как да проектирам процесора, как да изградя комутацията, как се реализира синхронизацията и т.н..

Започвате ли да разбирате, или още не Ви е ясно за какво говоря?

 

Най лесно е да се науча да натискам копчета. Много по-трудно е да се науча да правя определен вид агрегати.

 

Това, че мога да натискам копчета не ме прави конструктор на агрегати. Различно е, нали? :D

Сподели публикацията


Адрес на коментара
Сподели в други сайтове

@Avatara тр да напишеш книга, отдава ти се :)

Всичкото от този 'web-sniffer' си присъства в следните модерни browser engines - gecko, chromium-driver, phantomjs. Също може да се намери пълен достъп до това какво се случва под капака в developer tools-а например на Firefox
image.thumb.png.fcd6fb580173304013a864b848ae92c3.png

image.thumb.png.528e54b385bf892f8d110c72fd751d2c.png

Може би с единствената разлика че не напълно агрегира и кешира обектите, но с кликове тук и там можем лесно да получим достъп до целия дом, примерно JS конзолата.

А относно това с regex търсенето може лесно да се постигне и със Selenium framework, където всеки може УЛТРАААА лесно да постигне всякаква автоматизация, и преди да ми препоръчаш някои туул отпреди 20г който е универсален и още работи идеално, ще ти кажа че е въпрос на вкус и потребност. Такива браузъри, ама не точно браузъри, смятам че не трябва да бъдат примери за добри практики.

Ето го твоя пример с 5 реда JS в конзолата:


image.thumb.png.dc23094c6c773e650a5c1c26fadd84cf.png

 

А за тези които харесват python ето как се работи със selenium:

bpython version 0.16 on top of Python 2.7.14 /home/d3k4/.virtualenvs/test/bin/python2.7
>>> from selenium import webdriver
>>> service_args = ['--ignore-ssl-errors=yes', '--ssl-protocol=any']
>>> driver = webdriver.PhantomJS('./bin/phantomjs', service_args=service_args)
>>> driver.get("https://xakep.bg")
>>> all_elem_links = driver.find_elements_by_xpath("//a[@href]")
>>> for elem in all_elem_links:
...     print elem.get_attribute("href")
...     
... 
https://www.xakep.bg/forum/#elContent
https://www.xakep.bg/forum/discover/
https://www.xakep.bg/forum/search/
https://www.xakep.bg/forum/#
https://www.xakep.bg/forum/
https://www.xakep.bg/forum/login/
https://www.xakep.bg/forum/lostpassword/
https://www.xakep.bg/forum/register/
https://www.xakep.bg/forum/
https://www.xakep.bg/forum/calendar/
https://www.xakep.bg/forum/staff/
https://www.xakep.bg/forum/leaderboard/
https://www.xakep.bg/forum/#
https://www.xakep.bg/forum/discover/
https://www.xakep.bg/forum/discover/
https://www.xakep.bg/forum/search/
https://www.xakep.bg/forum/#
https://www.xakep.bg/forum/chatbox/
https://www.xakep.bg/forum/clubs/

Както предполагаш същото може да снане с regex, а от тук нататък можеш да правиш каквато искаш процесинг на информацията.

Редактирано от d3k4z

Сподели публикацията


Адрес на коментара
Сподели в други сайтове

Донякъде сте прав. Въпросът е, че цитираната функционалност касае ПАРСВАНЕТО на един web-документ или група от документи.

Парсингът е нещо различно. Аз не си спомням да съм писал и обсъждал парсери. DOM моделът не е нищо повече от обектен модел за web. Това няма нищо общо с това, което аз дискутирам. Нека не сравняваме различни неща. Не мога да разбера какво се опитвате да докажете. Наистина.

Има и още нещо, което категорично не приемам. Писах и за това какво е "събитиен анализатор" (нали правите разлика между events и properties). Писах и за още куп неща.

В посочените примери не виждам нищо подобно. 

Да се съди за конкретно приложение само и единствено по картинка е несериозно. Няма как да тествате нещо, до което просто нямате достъп. Визирам WBA. :$

 

Сега за това, което сте изложили като теза ...

Пак повтарям, че аз лично виждам парсинг. Вътрешни адреси, структура на документа и толкова.

Това, което виждам е стандартен подход масово прилагам от експертите по SEO. Да но това няма нищо общо с това, което аз визирам.

Явно не съм се изразявал достатъчно точно и за това ще се опитам да го направя под друга форма. :D

. . .

Да подложим на проверка Вашата теза.

За целта ще направим един много, ама много елементарен експеримент, за да видим доколко твърденията Ви са верни. :$ :D

 

ЕКСПЕРИМЕНТ (СТАНДАРТЕН ТЕСТ НА BS NGIT):

Съществува web-ресурс, който е  on-line игра със заглавие  Galaxy II Online ( http://go2.igg.com/  ).

За да докажете тезата си, за ползата от използването на стандартни инструменти при решаване на конкретен казус е необходимо да направите следното: 

1. Да се регистрирате като потребител.

2. В рамките на 24 часа трябва да сте преминал през всички мисии (тук включвам и всички съзвездия).

3. В рамките на 24 часа трябва да сте се сдобили с всички "божествени" командири и да получите за всеки един от тях 9-ти ранк (девет звездички).

 

Това е елементарна задача. Ако както твърдите това може да се направи при използване на функционалността на браузърите не би следвало да имате проблем.

Опитайте и да видим какво ще се получи. :D:D

И не забравяйте, че разполагате само с 24 часа за да го направите. :D

Ако се справите ще приема, че сте абсолютно прав и ще оглася публично, че WBA не върши никаква работа и не става за нищо и за напред в своята работа ще използвам само и единствено стандартни средства. Повярвайте държа на дадената дума. 

Ако обаче не се справите  ... просто ще Ви помоля за извинение на лични. Нищо повече.

Повярвайте наистина много ще се радвам ако успеете.

Рекордът за изпълнение на този тест е 18 часа и 24 минути (но с използване на нестандартни средства), но нека не бъдем максималисти. :D

Благодаря.

 

Сподели публикацията


Адрес на коментара
Сподели в други сайтове

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Отговорете в темата...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Потребители разглеждащи страницата   0 потребители

    No registered users viewing this page.

×
×
  • Създай нов...

Important Information

За да посещавате този уебсайт е необходимо да се съгласите с Terms of Use. We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue.