વિભાગ 4 માં આપનું સ્વાગત છે! આપણે સ્ટેટિક અને JavaScript-રેન્ડર્ડ કન્ટેન્ટ સ્ક્રેપિંગ, તેમજ મલ્ટિ-પેજ સાઇટ્સનું નેવિગેશન આવરી લીધું છે. હવે, આપણે સીધા API ઇન્ટરેક્શન, ફોર્મ સબમિશન, પ્રમાણીકરણ અને GraphQL જેવા વિશિષ્ટ APIs ને સમાવતા વધુ જટિલ પરિસ્થિતિઓમાં ગોતો લગાવીએ છીએ. આ તકનીકો આધુનિક વેબ એપ્લિકેશન્સનો સામનો કરવા માટે નિર્ણાયક છે.
1. API-સંચાલિત વેબસાઇટ્સ (પ્રકરણ 7)
ઘણી આધુનિક વેબસાઇટ્સ પ્રારંભિક HTML સાથે તેમનો બધો ડેટા લોડ કરતી નથી. તેના બદલે, તેઓ પેજ લોડ થયા પછી બેકએન્ડ APIs માંથી ડેટા લાવવા માટે JavaScript (ઘણીવાર fetch અથવા XMLHttpRequest નો ઉપયોગ કરીને) નો ઉપયોગ કરે છે. આવી સાઇટ્સને કાર્યક્ષમ રીતે સ્ક્રેપ કરવાનો અર્થ ઘણીવાર UI ને બાયપાસ કરીને આ APIs સાથે સીધો ઇન્ટરેક્ટ કરવો છે.
મુખ્ય ખ્યાલો:
- API રિક્વેસ્ટ્સની ઓળખ: તમારા ब्राउझરના ડેવલપર ટૂલ્સ (નેટવર્ક ટેબ) નો ઉપયોગ કરીને એવી રિક્વેસ્ટ્સ શોધો (ઘણીવાર XHR/Fetch) જે ડેટા રિટર્ન કરે છે, સામાન્ય રીતે JSON ફોર્મેટમાં.
- સીધી APIs સ્ક્રેપ કરવી: એકવાર તમને API એન્ડપોઇન્ટ મળી જાય, તમે ઘણીવાર
axiosજેવી લાઇબ્રેરીઓ અથવા Node.js માં બિલ્ટ-ઇનfetchનો ઉપયોગ કરીને સીધી તેને રિક્વેસ્ટ્સ કરી શકો છો. આ સામાન્ય રીતે બ્રાઉઝર ઓટોમેશન કરતાં ઝડપી અને વધુ વિશ્વસનીય હોય છે. - પેજિનેશન અને પેરામીટર્સ હેન્ડલ કરવાં: APIs ઘણીવાર પેજિનેશન (
page,limit), ફિલ્ટરિંગ અથવા સોર્ટિંગ માટે ક્વેરી પેરામીટર્સનો ઉપયોગ કરે છે. તમારે તમારી સ્ક્રેપિંગ સ્ક્રિપ્ટમાં આને સમજવું અને પુનઃનિર્માણ કરવું પડશે.
પડકાર (પ્રકરણ 7): તમે એક ઈ-કોમર્સ સાઇટ સ્ક્રેપ કરશો જ્યાં પ્રોડક્ટ લિસ્ટિંગ્સ RESTful API માંથી ડાયનેમિક રીતે લોડ થાય છે. તમારું કાર્ય આ API સાથે ઇન્ટરેક્ટ કરીને, પેજિનેશનને યોગ્ય રીતે હેન્ડલ કરીને બધા પ્રોડક્ટ્સ લાવવાનું છે.
સીધી API સ્ક્રેપિંગ દર્શાવતો સંદર્ભ સોલ્યુશન _solved/chapter7/ ડિરેક્ટરીમાં જુઓ.
2. ફોર્મ અને પ્રમાણીકરણ (પ્રકરણ 8)
ઘણીવાર, મૂલ્યવાન ડેટા લૉગિન સ્ક્રીન પાછળ હોય છે અથવા જટિલ ફોર્મ સબમિટ કરવાની જરૂર હોય છે. ઉદાહરણ તરીકે, પ્રકરણ 8 માં ટ્રાવેલ બુકિંગ પ્લેટફોર્મને મુખ્ય કાર્યક્ષમતા એક્સેસ કરવા માટે પ્રમાણીકરણની માંગ છે. ગંતવ્યો શોધવા માટે (ઓટોકમ્પ્લીટનો ઉપયોગ કરીને), ટ્રાવેલ તારીખો પસંદ કરવા માટે (કેલેન્ડર વિજેટ સાથે ઇન્ટરેક્ટ કરવા), ફિલ્ટર્સ લાગુ કરવા અને પરિણામો જોવા માટે (લૉગ-ઇન યુઝર્સ માટે જ ઉપલબ્ધ પ્રીમિયમ લિસ્ટિંગ્સ સહિત), તમારે પહેલા લૉગિન પ્રક્રિયાને ઓટોમેટ કરવી પડે છે. આમાં ફોર્મ હેન્ડલ કરવાનું, સેશન કુકીઝનું મેનેજમેન્ટ (પુનઃપ્રમાણીકરણની જરૂર પડતી સંભવિત ટાઇમઆઉટ્સ અને CSRF સુરક્ષા સહિત), અને આખરે વાસ્તવિક યુઝર જેવી ક્રિયાઓ કરવા માટે બ્રાઉઝરને નિયંત્રિત કરવાનું સામેલ છે.
મુખ્ય ખ્યાલો:
- ફોર્મ સબમિશન ઓટોમેટ કરવાં: ઇનપુટ ફીલ્ડ ભરવા, વિકલ્પો પસંદ કરવા અને ફોર્મ સબમિટ કરવા માટે બટનો ક્લિક કરવા માટે Playwright અથવા Puppeteer જેવા ટૂલ્સનો ઉપયોગ કરો (જેમ કે લૉગિન ફોર્મ્સ, સર્ચ બાર્સ, ફિલ્ટર કંટ્રોલ્સ).
- પ્રમાણીકરણનું મેનેજમેન્ટ:
- કુકી-આધારિત: એકવાર લૉગ ઇન થાઓ, અને બ્રાઉઝર કન્ટેક્સ્ટ (Playwright/Puppeteer દ્વારા મેનેજ કરેલ) ઘણીવાર પછીની રિક્વેસ્ટ્સ માટે સેશન કુકીઝ આપોઆપ હેન્ડલ કરે છે.
- ટોકન-આધારિત (જેમ કે JWT): લૉગ ઇન કરો, ટોકન એક્સ્ટ્રેક્ટ કરો (ઘણીવાર લોકલ સ્ટોરેજ અથવા API રિસ્પોન્સમાંથી), અને પછીની API રિક્વેસ્ટ્સ માટે હેડર્સમાં (જેમ કે
Authorization: Bearer <token>) શામેલ કરો.
- સેશન હેન્ડલ કરવાં: તમારા સ્ક્રેપર દ્વારા વિવિધ પાનાઓ અથવા ક્રિયાઓમાં લૉગ-ઇન સ્ટેટ જાળવી રાખો.
- સુરક્ષિત કન્ટેન્ટ એક્સેસ કરવું: એકવાર પ્રમાણિત થયા પછી, તમે ફક્ત લૉગ-ઇન યુઝર્સ માટે ઉપલબ્ધ પાનાઓ અથવા ડેટા પર નેવિગેટ કરી અને સ્ક્રેપ કરી શકો છો.
પડકાર (પ્રકરણ 8): આ પ્રકરણમાં બહુ-પગલાંની પ્રક્રિયા સામેલ છે: સાઇટમાં લૉગ ઇન કરવું, સર્ચ પેજ પર નેવિગેટ કરવું, ફિલ્ટર્સ સાથે જટિલ મલ્ટિ-પાર્ટ ફોર્મ ભરવું, પરિણામો એક્સ્ટ્રેક્ટ કરવાં (લૉગ ઇન કરેલ હોય ત્યારે જ દૃશ્યમાન પ્રીમિયમ કન્ટેન્ટ સહિત), અને યુઝર ડેશબોર્ડ પર સર્ચ સેવ કરવાનું પણ.
3. GraphQL APIs સાથે કાર્ય કરવું (પ્રકરણ 9)
GraphQL એ REST APIs નો વધુને વધુ લોકપ્રિય વિકલ્પ છે. તે ક્લાયન્ટ્સને ચોક્કસ ક્વેરી ભાષાનો ઉપયોગ કરીને તેમની જરૂરના ચોક્કસ ડેટાની વિનંતી કરવાની મંજૂરી આપે છે.
મુખ્ય ખ્યાલો:
- GraphQL એન્ડપોઇન્ટ: સામાન્ય રીતે, એક જ એન્ડપોઇન્ટ હોય છે (જેમ કે
/graphqlઅથવા/api/graphql). - ક્વેરી ભાષા: તમારે જે ફીલ્ડ્સ અને સંબંધો મેળવવા માંગો છો તે સ્પષ્ટ કરવા માટે તમારે GraphQL ક્વેરીઓ બનાવવી પડશે. Insomnia અથવા Postman જેવા ટૂલ્સ GraphQL સ્કીમા એક્સપ્લોર કરવામાં મદદ કરી શકે છે.
- મ્યુટેશન્સ: ડેટા બદલતી ક્રિયાઓ (લૉગ ઇન કરવા અથવા ડેટા સબમિટ કરવા જેવી) માટે વપરાય છે, REST માં POST/PUT/DELETE સમાન.
- પ્રમાણીકરણ: ઘણીવાર
Authorizationહેડર મોકલવાનું સામેલ છે, REST APIs સમાન, સામાન્ય રીતે લૉગિન મ્યુટેશન પછી મેળવેલ.
પડકાર (પ્રકરણ 9): તમે GraphQL API દ્વારા સપોર્ટેડ સાઇટ સાથે ઇન્ટરેક્ટ કરશો. કાર્ય લૉગિન મ્યુટેશન દ્વારા પ્રમાણિત કરવાનું અને પછી GraphQL ક્વેરીઓનો ઉપયોગ કરીને ચેલેન્જ અને યુઝર પ્રોફાઇલ્સ વિશે ચોક્કસ સંરચિત ડેટા લાવવાનું છે.
આ અદ્યતન તકનીકોમાં નિપુણતા મેળવવાથી તમે કાર્યક્ષમ રીતે સ્ક્રેપ કરી શકો છીએ એવી વેબસાઇટ્સ અને ડેટાની શ્રેણી નોંધપાત્ર રીતે વધે છે. યાદ રાખો કે હંમેશા જવાબદારીપૂર્વક સ્ક્રેપ કરો અને વેબસાઇટ્સની સેવાની શરતોનો આદર કરો.
ખુશ સ્ક્રેપિંગ!