***شبکه و کامپیوتر***
ج - Indexer (بایگانی کننده تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش های متفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است که مشخص می شود اطلاعات از کدام صفحه ارسال شده است، چه حجمی دارد، کلمات موجود در آن کدامند، کلمات چندبار تکرار شده اند، کلمات در کجای صفحه قرار دارند و ... در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. در زمان تجزیه و تحلیل اطلاعات، ایندکسر برای کاهش حجم داده ها از بعضی کلمات که بسیار رایج هستند صرفنظر می کند. کلماتی نظیر a ، an ، the ، www ، is و ... . از این گونه کلمات هستند. د - DataBase (پایگاه داده تمام داده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می گردد. در این بخش داده ها گروه بندی، کدگذاری و ذخیره می شود. همچنین داده ها قبل از آنکه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم کمی از پایگاه داده را اشغال کنند. یک موتور جستجوگر باید پایگاه داده عظیمی داشته باشد و به طور مداوم حجم محتوای آن را گسترش دهد و البته اطلاعات قدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یک موتور جستجوگر برای آن امتیاز محسوب می گردد. یکی از تفاوتهای اصلی موتورهای جستجوگر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی داده ها در پایگاه داده است. و- Ranker (سیستم رتبه بندی بعد از آنکه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی به سوالات کاربران است. کاربران چند کلمه را در جعبه جستجوی (Search Box) آن وارد می کنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگویی به درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده که به موضوع جستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عمل شده، آنها را از بیشترین ارتباط تا کمترین ارتباط مرتب می کند و به عنوان نتایج جستجو به کاربر نمایش می دهد. حتی اگر موتور جستجوگر بهترین و کامل ترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی را ارایه کند، یک موتور جستجوگر ضعیف خواهد بود. در حقیقت سیستم رتبه بندی قلب تپنده یک موتور جستجوگر است و تفاوت اصلی موتورهای جستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالات کاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ ها را در اختیار آنها قرار دارد. حرفه ای های دنیای به طور خلاصه از آن به Algo (الگوریتم) یاد می کنند. الگوریتم، مجموعه ای از دستورالعمل ها است که موتور جستجوگر با اعمال آنها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو مرتب کند. در حال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد. می توان با ادغام کردن اسپایدر با کراولر و همچنین ایندکسر با پایگاه داده، موتور جستجوگر را شامل سه بخش زیر دانست که این گونه تقسیم بندی هم درست می باشد: • کراولر تذکر- برای سهولت در بیان مطالب بعدی هر گاه صحبت از بایگانی کردن (شدن) به میان می آید، مقصود این است که صفحه تجزیه و تحلیل شده و به پایگاه داده موتور جستجوگر وارد می شود. اگر شما سایت جدیدی را طراحی می کنید و یا قصد طراحی مجدد سایتتان را دارید، دانستن اینکه موتور جستجوگر چگونه کار می کند؟ کاربران مخاطب شما چگونه جستجو می کنند؟ و بهترین روش طراحی وب سایت تان چیست؟ از همان ابتدا می تواند صرفه جویی قابل ملاحظه ای در زمان و هزینه شما ایجاد کند. جستجوگران، بینندگان تصادفی نیستند. زمانی که آنها یک سری از کلمات را جستجو می کنند، به معنای آنست که آنها کالا یا خدماتی را می خواهند. لذا ترافیکی که به کمک موتورهای جستجوگر در سایت شما ایجاد می شود به معنای مراجعه گروه کاربران مخاطب به سایت شماست. بسیار گفته شد که کاربران جستجو می کنند لذا بجا خواهد بود که روشن نماییم اصولا با چه ابزاری می توان در وب به جستجو پرداخت. خدمات جستجویی که در وب ارایه می شود را می توان در دو گروه اصلی دسته بندی نمود: وقتی جستجویی در یک موتور جستجوگر انجام و نتایج جستجو ارایه می شود، کاربران در واقع نتیجه کار بخش های متفاوت موتور جستجوگر را می بینند. موتور جستجوگر قبلا پایگاه داده اش را آماده کرده است و این گونه نیست که درست در همان لحظه جستجو، تمام وب را بگردد. بسیاری از خود می پرسند که چگونه ممکن است گوگل در کمتر از یک ثانیه تمام سایت های وب را بگردد و میلیون ها صفحه را در نتایج جستجوی خود ارایه کند؟ گوگل و هیچ موتور جستجوگر دیگری توانایی انجام این کار را ندارند. همه آنها در زمان پاسخ گویی به جستجوهای کاربران، تنها در پایگاه داده ای که در اختیار دارند به جستجو می پردازند و نه در وب! موتور جستجوگر به کمک بخش های متفاوت خود، اطلاعات مورد نیاز را قبلا جمع آوری، تجزیه و تحلیل می کند، آن را در پایگاه داده اش ذخیره می نماید و به هنگام جستجوی کاربر، تنها در همین پایگاه داده می گردد بخش های مجزای یک موتور جستجوگر عبارتند از : • Spiderیا عنکبوت الف- Spider (عنکبوت اسپایدر یا روبوت (Robot)، نرم افزاری است که کار جمع آوری اطلاعات مورد نیاز یک موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می کند و آن را در اختیار سایر بخش های موتور جستجوگر قرار می دهد. کار یک اسپایدر، بسیار شبیه کار کاربران وب است. همانطور که کاربران، صفحات مختلف را بازدید می کنند، اسپایدر هم درست این کار را انجام می دهد با این تفاوت که اسپایدر کدهای HTML صفحات را می بیند اما کاربران نتیجه حاصل از کنار هم قرار گرفتن این کدها را. index.html اما یک اسپایدر آنرا چگونه می بیند؟ آیا این دنیای متنی برای شما جذاب است؟ اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می توانید مشخص کنید که اسپایدر کدام یک از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی از فعالیت های اصلی که در SEM انجام می شود تحلیل آمار همین دید و بازدیدها است. اسپایدرها کاربردهای دیگری نیز دارند، به عنوان مثال عده ای از آنها به سایت های مختلف مراجعه می کنند و فقط به بررسی فعال بودن لینک های آنها می پردازند و یا به دنبال آدرس ایمیل (Email) می گردند. ب- Crawler (خزنده کراولر، نرم افزاری است که به عنوان یک فرمانده برای اسپایدر عمل می کند. آن مشخص می کند که اسپایدر کدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می گیرد که کدام یک از لینک های صفحه ای که اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممکن است همه آنها را دنبال کند، بعضی ها را دنبال کند و یا هیچ کدام را دنبال نکند. کراولر، ممکن است قبلا برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال کردن لینک های یک صفحه به این بستگی دارد که موتور جستجوگر چه حجمی از اطلاعات یک سایت را می تواند و می خواهد در پایگاه داده اش ذخیره کند. همچنین ممکن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد. شما به عنوان دارنده سایت، همان طور که دوست دارید موتورهای جستجوگر اطلاعات سایت شما را با خود ببرند، می توانید آنها را از بعضی صفحات سایت تان دور کنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می کند و از حقوق دسترسی خود اطلاع می یابد. تنظیم میزان دسترسی موتورهای جستجوگر به محتوای یک سایت توسط پروتکل Robots انجام می شود. به عمل کراولر ، خزش (Crawling) می گویند. چگونه گوگل در کمتر از یک ثانیه به سوالات ما پاسخ می دهد؟ مگر گوگل می تواند در این مدت کوتاه در تمام وب بگردد؟ موتور جستجوگر نیز می تواند از راههای متفاوتی به یک سایت وارد شود. این راهها همان لینکها هستند. موتور جستجوگر برای خواندن صفحات سایت مجوزهای لازم و محدودیتها را در فایل ROBOTS.TXT بررسی می کند. هر چند که می تواند آن مجوزها را به طور کلی نادیده بگیرد. موتور جستجوگر می تواند انواع فایل را بخواند: فایل DOC، PDF، HTML، PHP و ... شب به سایت سر بزند و یا روز. گاهی هم که به سایت سر می زند با دست خالی بر می گردد زیرا سرور سایت جواب نمی دهد و سایت موقتا و یا برای همیشه فعال نیست. موتور جستجوگر نیز بعد از خواندن محتوای سایت بخشهای زاید را دور می ریزد (کلمات بنجل) و بقیه را با خود می آورد، گروه بندی می کند، فشرده سازی می کند و در پایگاه داده اش قرار می دهد تا بعدا از آن استفاده نماید. برداشتهای فنی : 1.سایت شما نباید منطقه حفاظت شده باشد. 2.مجوز لازم را به موتور جستجوگر بدهید. 3. در انتخاب میزبان وب سایت خود دقت کنید. 4.راه ورود به سایت شما تنها صفحه اول آن نیست! 5.هر موتور جستجوگری مهم نیست. قبل از شروع گفتگو درباره هر موضوعی نیاز به آن است که مفاهیم اولیه و اصطلاحات رایج در آن موضوع، بیان شود تا طرفین گفتگو راحت تر به منظور یکدیگر پی ببرند . برخی از مفاهیم و اصطلاحات حوزه SEO در این مقاله شــرح داده شده است . Spider,crawler,robot نرم افزاری است که کار جمع آوری اطلاعات از صفحات سایتهای مختلف را بر عهده دارد . Directory keyword keyword Density Keyword Staffing تکرار یک کلمه به دفعات و پشت سر هم به منظور بالا بردن چگالی کلمه. این کار تقلب محسوب می شود . Tinny Text نوشتن متن با اندازه های بسیار کوچک و ریز به گونه ای که کلمات بسیاری بدین ترتیب در یک خط قرار داده می شود و به سختی نیز در صفحه قابل رویت هستند. نوشتن مطالب به این صورت، تقلب محسوب است. Invisible Text Spam Alt Tag Deep Crawle به معنای این است که موتور جستجوگر، می تواند صفحات زیادی از یک سایت را در پایگاه داده اش قرار دهد. موتور جستجوگر هرچه پایگاه داده اش بزرگتر باشد، صفحات بیشتری از یک سایت را می تواند در پایگاه داده اش قرار دهد. همه موتورهای جستجوگر دارای این ویژگی نمی باشند. Robots.txt META robots tag Link Link Popularity Link Reputation Learn Frequency URL-Uniform Resource Locator Stop Word Meta tags META Keywords META Deion Stemming Rank Spamdexing Comment شم بازاریابی حکم می کند که همواره در جایی حضور داشته باشیم که مشتری ما آنجاست. اگر ما آنجا نباشیم، رقیب ما آنجا خواهد بود. به عبارت دیگر کسیکه قرار است از ما خرید کند، از رقیب ما خرید می کند و بنابراین رقیب ما هر روز چاق تر و چاق تر می شود و ما نحیف و نحیف تر. بازاریابی با موتورهای جستجوگر (Search Engine Marketing) نیز دو هدف عمده زیر را دنبال می کند: 1. حضور در جاهایی که خریداران ما آنجا هستند . اینگونه از بازاریابی شامل فعالیتهای مختلفی می باشد که از مهمترین فعالیت های آن، بهینه سازی سایت(Search Engine Optimization) می باشد. در حقیقت موتورهای جستجوگر از مهمترین بینندگان هر سایتی هستند. اگر سایت شما تنها برای مرورگرها، بهینه سازی شده است، کمی تامل کنید، سایت شما باید برای موتورهای جستجوگر هم بهینه سازی گردد. به عنوان مثال مرورگرها می توانند صفحات را با وجود بعضی از خطاها در کدهای آنها، به کاربران نمایش دهند اما موتورهای جستجوگر تا این حد مهربان نیستند. خوشبختانه توجه به موتورهای جستجوگر در طراحی سایت، آنرا برای کاربران سایت هم قابل استفاده تر می کند. بهینه سازی سایت به معنای به کارگیری ترفندهای پیچیده نیست بلکه در اغلب موارد به کارگیری و اعمال تغییرات کوچک و ساده در سایت است که معمولا تاثیر فوق العاده ای در بالا بردن ضریب نفوذ سایت شما در موتورهای جستجوگر دارند. ضریب نفوذ مناسب به معنای حضور در موتورهای جستجوگر مهم و عمده، بایگانی شدن هر چه بیشتر صفحات سایت در پایگاه داده آنها و قرار گرفتن در صفحه های اول تا پنجم نتایج جستجوی آنهاست. متخصصین بسیاری در تلاش هستند تا الگوریتم و پارامترهای مورد توجه موتورهای جستجوگر را شناسایی کنند تا بتوانند به کمک آنها به رتبه‌های بالاتری دست یابند و شانس خود را در کسب درآمد بیشتر، افزایش دهند. البته به موازات آنها، موتورهای جستجوگر نیز روز به روز الگوریتم های خود را هوشمندتر کرده و بر اقدامات امنیتی برای حفاظت از الگوریتم‌هایشان می‌افزایند. چیزی که امروزه این متخصصان با تاکید بر آنها قصد بهبودی رتبه های سایت های خود را دارند، تنها تجربه است و نه یافته های علمی ثابت شده از اسرار بسیار موتورهای جستجوگر. خلاصه: • موتور جستجوگر ابزاری است که کاربران اینترنت به کمک آنها سایت ها را می یابند.
• بایگانی
• سیستم رتبه بندیموتور جستجوگر چگونه کار می کند؟
موتور جستجو چگونه کار می کند؟
• Crawler یا خزنده
• Indexer یا بایگانی کننده
• Database یا پایگاه داده
• Ranker یا سیستم رتبه بندی
برای این که شما هم بتوانید دنیای وب را از دیدگاه یک اسپایدر ببینید، کافی است که کدهای HTML صفحات را مشاهده کنید.
موتور جستجو چگونه کار می کند
موتور جستجوگر هم اگر بهترین اطلاعات را در اختیار داشته باشد اما نتواند پاسخ های خوبی به سوالات کاربران بدهد، موتور جستجوی محبوب کاربران وب نخواهد بود.
از سایتهای دیگر بخواهید که به شما لینک کنند. ساختار سایت را به گونه ای طراحی و تدوین کنید که موتور جستجوگر به راحتی بتواند به بخشهای مختلف آن سر بزند. اگر شکارچی سرخود راهی شرق نمی شود تا منطقه ای حفاظت شده در آن سو بیابد موتور جستجوگر نیز تا راهی (لینکی) به سایت شما نداشته باشد روانه آن نمی شود.
سایت طراحی شده است که اطلاعاتی عرضه کند بنابراین ضرورتی ندارد دسترسی به آنها را محدود کنید. پس با دقت فایل robots.txt سایت خود را تهیه کنید. حتی اگر سایت شما محدودیتی ندارد این فایل را تهیه کنید و در سایت خود قرار دهید. حالا سایت شما حرفه ای تر است چون برای خود قانون دارد!
وب سایت شما باید همواره در دسترس باشد تا موتور جستجوگر بتواند با مراجعه به آن فایلهای مختلف را شکار کند.
اشتباه بسیاری از مدیران این است که تمام لینکها را به صفحه اول سایت خود ارجاع می دهند. اگر از سایت های دیگر لینک درخواست می کنید به صفحات داخلی سایتتان نیز لینک کنید. صفحه اول سایت ها معمولا محتوای کمی دارد و شانس کسب رتبه بالا را کاهش می دهد.
وقت خود را با تمرکز بر روی موتورهای جستجوگر غیر مهم تلف نکنید. آنها هیچ ارزشی برای سایتان ندارند زیرا ترافیک ناشی از آنها در عمل برابر صفر است. گوگل، یاهو، MSN و ASK در اغلب موارد کافی اند.
مفاهیم و اصطلاحات موتورهای جستجوگر
فهرست. نوعی از موتورهای جستجوگر که پایگاه داده آن توسط ویراستاران تکمیل می گردد. در آنها سایت ها در گروههایی موضوعی دسته بندی می شوند .
بــه واژه ها ی مهم (کلیدی) هر صفحه گفته می شود. اما غالبا منظور کلماتی است که دوست داریم با آنها رتبه های مناسبی کسب کنیم .
چگالی کلمه، منظور تعداد دفعات تکرار واژه های کلیدی در مقایسه با سایر کلمات متن است .
متن نامرئی. منظور استفاده از متن های همرنگ با پس زمینه صفحه است. متن هایی که از دید کاربران مخفی می ماند. به عنوان مثال اگر پس زمینه یک صفحه سیاه است، متن صفحه نیز با رنگ سیاه نوشته می شود تا دیده نشود . این نوع متن ها از مصادیق تقلب می باشند.
تقلب، به تمام تلاش هایی گفته می شود که به کمک آن سعی می شود از راه های غیر معمول، رتبه های بالایی کسب شود. .یا در اختیار گذاردن اطلاعاتی که موتورهای جستجوگر آنرا دوست ندارند (اطلاعات ناخواسته) مانند تکرار یک کلمه به دفعات و پشت سر هم، استفاده از متن های هم رنگ زمینه و ...
محتوای این شناسه، متنی است که یک عکس را توضیح می دهد
با این فایل متنی و ساده، میزان دسترسی موتور جستجوگر به محتوای یک سایت را می توان کنترل کرد.
به کمک این شناسه میزان دسترسی موتور جستجوگر به محتوای یک صفحه را می توان کنترل کرد.
پیوند. در واقع پلی بین دو صفحه است. به کمک آن می توان از یک صفحه به صفحه دیگر رفت.
مقصود این است که چه تعداد از سایت های دیگر به سایتی مشخص لینک کرده اند یا اینکه از چند سایت دیگر می توان به کمک پیوندها به سایتی مشخص رفت.
اشاره به این دارد که سایر سایت ها درباره سایتی که بدان لینک داده اند، چه می گویند. عموما در این موارد عنوان، متن لینک و کلمات اطراف لینک در سایت مقصد، بررسی می شوند.
بعضی از موتورهای جستجوگر می توانند تشخیص دهند که محتوای صفحات پس از چه مدتی تغییر می کند (به روز می گردد) و بعد از آن مدت به آن صفحات مراجعه می کنند.
به آدرس منحصر به فرد هر منبع موجود در اینترنت گفته می شود. این منبع می تواند یک صفحه وب، یک فایل متنی و... باشد
به کلماتی گفته می شود که در کل اینترنت از آنها بسیار استفاده شده است. کلماتی نظیرthe, a, an, web www, home page, و ...
به کمک این شناسه ها، اطلاعاتی از صفحه در اختیار بینندگان (موتور جستجوگر، مرورگرها و ...) قرار داده می شود.
به کمک آن، کلمات کلیدی صفحه در اختیار موتورهای جستجوگر قرار داده می شود.
به کمک آن، توضیحی مختصر از صفحه در اختیار موتورهای جستجوگر قرار داده می شود.
به معنای این است که موتور جستجوگر می تواند صورت های مختلف یک کلمه را جستجو کند. به عنوان مثال با جستجوی swim موتور جستجوگر به دنبال swimmer ،swimming نیز می گردد. همه موتورهای جستجوگر دارای این ویژگی نمی باشند.
رتبه یک صفحه در نتایج جستجو است زمانی که جستجویی مرتبط با محتوای آن صفحه انجام می شود.
مختصر شده spam indexing است. منظور طراحی و معرفی صفحاتی به موتورهای جستجوگر است که کیفیت نتایج جستجو را پایین می آورند. موتورهای جستجوگر تمایل دارند که کاربران بارها و بارها به آنها مراجعه کنند و کیفیت بالای نتایج می تواند این روند را تضمین کند. لذا آنها هرکدام به نوعی سعی در تشخیص صفحاتی دارند که کیفیت نتایج جستجو را پایین می آورد. برخی از این موارد عبارتند از: ساختن صفحاتی که همگی دارای محتوای یکسانی اند، تکرار یک کلمه بیش از حد و ...
توضیحاتی است که طراحان سایت در لابلای کدهای HTML می گنجانند تا برای فهمیدن وظیفه بخش های متفاوت کدهای HTML در مراجعات آتی نیازی به صرف وقت بسیار نداشته باشند.
.2 بالاتر بودن از رقبا (کسب وضعیت بهتر نسبت به رقبا(
• نتایج جستجوی تمام موتورهای جستجوگر دقیق نیست.
• بسیاری از کاربران دریافته اند که در اغلب موارد 10 رتبه اول نتایج جستجوی موتورهای جستجوگر می تواند خواسته آنها را برآورده کند.
• راههای بسیاری برای دسترسی به سایت ها وجود دارد اما موتورهای جستجوگر همواره راهکار اساسی بوده اند.
• تجارت الکترونیک به شدت خود را با مسئله رتبه بندی در موتورهای جستجوگر هماهنگ کرده است و همه سایت ها برای کسب رتبه های بالا تلاش می کنند.
• اجرای یک برنامه موفق بازاریابی با موتورهای جستجوگر، بدون یک ساختار و زیربنای مستحکم در خود سایت، اصولا با شکست همراه می باشد
