وب نامرئی و دارک وب

صفحه 1:
Invisible Web ‏وبغامرئى‎ ‏وبعميق‎ 0 

صفحه 2:
مقدمه مرور نوشتارها حاكي از آن است که به احتمال قریب به یقین عبارت «وب نامرثی» نخستین بار درسال 4 توسط «ژیل السورت»ابداع شده است. البته معدودي از متابع نیز شخص دیگري ‎as‏ نام «متیوکل» را به عنوان ميدع این اصطلاح معرفي مي‌کنند. در خصوص وب تامرتي كلماتي نظیر وب پنهان. وب عمیق, وب تاريك, به طور مترادف در متون مختلف به كار يرده شده‌اند. اما اين‌ها در حقيقت معادل يكديكر نيستيد و هر يك به جنيداي از نامرئي بودن اشاره مي‌کنند. The Viste Web is jst the tp ofthe Iceberg 

صفحه 3:
وب نامرئی #) ۷/۵۵ 5۱0۳۲۵6۵ یکی از اصطلاحاتی كه اخيرا از آن ياد ميشود وب ‎cowl invisible web L tpl of WWW content)‏ که البنه اسم دیگرش 0660 وب هست. صفحات اینترنتی ای که ما 1 تسس يه طور عادى مى بينيم, وب سطحى نام دارند. افراد قبل از هر مرجع ديكرى از وب براى جستجوى تحقيقاتشان استفاده مى كنند. اما موتورهاى جستجو لزوما بهترين نتايج را تمايش تمى دهند. آنها اطلاعات مخفی یا عمیق موجود در اینترنت را نمایش نمی Deep Web (96% of WWW content) 

صفحه 4:
وب زرف چیست؟ اصطلاح وب نامرئی يا وب "زرف" به مخزن عظیمی از اطلاعات اطلاق می شود که موتورهای جستجو به آنها دسترسی مستقیم ندارند ‎a‏ طور مثال پایگاه داده کتابخانه های دانشگاهها, سایتهایی که برای مشاهده آنها نیاز به رمز عبور داریم و سایتهایی که به هر دلیل, موتورهای جستجو از فهرست بندی آنهاء منع شده اند. بر خلاف صفحات قابل مشاهده (یعنی همین وبی که می توانید توسط موتورهای جستجو ببینید) اطلاعانی در پایگاههای داده موجود است که اسپایدرها و رباتهای خزنده بدانه] دس ترسی ندارند. بعنوان نمونه, اغلب مردم گوگل را بعنوان دارنده بزرگترین پایگاه داده جستجو تصور می کنند که حدودا ۸ بیلیون صفحه را فهرست بندی کرده است. این رقم بزرگ است ولی اگر رت مخفى را در نظر بكيريم اين رقم را بایستی در كو ۶ J fo foe ‏لم‎ 

صفحه 5:
آمارهای جللب: “elon! ] be Moai ۵۵: ‏هک هه - اطلاعات موجود در وب ژرف, بین ۴۰۰ تا‎ Livery eee alt ‏ی‎ 0 7 لوسك مه 3 مقابل وب سطحی ‎۱٩‏ ترایایت ذخیره کرده است Shogpirgitucton 5% - وب رف حاوی ۷۵۰۰ ترابایت اطلاعات است, در - وب زرف دارای نزدیک به ۵۵۰ بیلیون مستند می باشد در حالیکه این رقم برای وب سطحی ۱ بیلیون است - بیش از ۲۰۰ هزار وب سایت زرف وجود دارند - جالب است بدانید که بیش از نیمی از محتوای وب عميق در عتوان سایتهایشان از کلمه ‎ortaiw! Database‏ کرده اند و اگر اين کلمه را در جستجوهایتان بکار برید. امکان دسترسی تان را به اين سایتها افزایش می دهید. 

صفحه 6:
دستوسی به وب عمیق دسترسی به آنچه که در للیه های پایین وب می گذرد زیاد ساده نیست. چرا كه بيشتر ارتباط ها و خرید و فروش های اصلی توسط ‎Sil‏ ارتباطی امن بین طرفین برقرار می شود. ارتباطی که از نظرگاه همه موتورهای جستجوگر فرسنگ ها فاصله دارد. ولی وب سایت هایی هم هستند که عموم مردم را مورد هدف قرار می دهند. این وب سایت ها بر روی سرورهای ۲08 راه اندازی شده اند و از طریق مرورگرهای معمولی قابل دستیابی نیستند. ۲00۸ 6 این وب سایت ها اغلب 00:08. است که در 015 های ۲00۴ ثبت نشده و فقط بر روی سرورهای ۲08 تعریف شده است. همچنین 8۱لا آنها. بسادگی به یاد سپردنی نیست و هرچند وقت یکبار به کل تغییر می کند. اغلب اين وبسايتها داراى صفحات شده این وب سایت ها را در ۱ 

صفحه 7:
همه چیز درباره وب عمیق یا منطور از وب عميق ما وب بنهان بخشى از شيش استر وب است که ماه موجود در ‎ol‏ خارج از حوزه جستجو و بازيابى مقدماتى موتورهاى جستجوى عمومى قراردارد و بازيابى اطلاعات موجود در این بخش ار محیط وب يا استفاده و جستجوی مستقیم از آبن موتورهامیسر یست ب عبارت دیگر امکان بازیبی منیع اطلاعاتی وب پنهان با از نظر فنی برای موتورهای جستجو مقدور نیست و با دن 3 

صفحه 8:
برخی از دلایل عدم دسترسی به وب عمیق يا پنهان ۱- نقاطی از وب هستند که به خاطر احتیاج به نام کاربری و رمز عبور امکان دسترسی به آنها وجود ندارد. - برخى اطلاعات در صورتى قابل مشاهده مى كردند كه خريدارى شوند, اين بخش كه به وب ملكى شتهرت دارد نيز از ديد موتورقاق جستجوكر بنهان أست. ۳- بخش دیگری از وب نامرتی, به مجموعه ای از اطلاعات الکترونیکی پیوسته اطلاق, میشود که آنها معمولا خارج از حوزه جستجوی موتورهای جستجوگر قرار دارند هریک از اين پایگاه ها صفحه جستجوی مبتنی بر وب دارند, که امکان جستجو در آنها برای کاربران را فراهم می کند, اما خزنده های موتورهای جستجو توان ورود به آن ها را ندارند و در نتيجه حجم انبوهی از اطلاعات, نمایه نشده باقی می ماند. *- متابع اطلاعاني غيرمتنى نيز جزء وب بنهان بشمار ميروند جون مونورهاى جستجوكر ‎sly‏ ایندکس گذاری منابع ابرمتن ۲۷۵6۱۷:6۷ طراحی شده اند درحاليكه بسيارى از متابع معجود در وب در قالب های دیگر و معمولا غیرمتتی (تصویر منابع ديدارق شتيدارى و ...) ظاهر مى شوند و امكان ايتدكس گذاری آنها در موتورهای جستموکر وجود تدارد. 6- يا توجه به استفاده اغلب موتورهای جستجوگر از الگوریتم عنکبوتی, در صورتی که صفحه وبی به هیچ جا متصل تشده باشد. دسترسی به ن از طریق موتورهای جستجو غيرممكن است. 

صفحه 9:
ب دو دلیل می توان گعت که وب بنهان آهمت دارد تخس از نظر کمی باید کم که حجم اطلاعات موجود در اين بخش خیلی بیشتر از سطع آشکار است: بهترین موتورهای جستجو فقط قادر هستند که حدود ۱۶ درصد از اطلاعات موجود دراوت را ارات كته ونتابراين 15 درصد آنها جر وب بتهان نه حسات مان اندازه وب نامرئی تقریباً ۵۰۰ برابر وب مرئی است. وب نامرئی ۵۵۰ میلیون سند و ‎en‏ ل هر چند مطالعات انجام شده در این بازه با تکدیگر متفاونتد اما بر اساس همه آنها دیب وب از نظر داده ها بسیار نی تر از وب معمولی با وبی است که ما ميشناسيم مووان کفت که کل وب یک كوه يخى است که دیب وت ‎ges‏ از آن است ‎play Welles sii aS‏ قسمت دلگ که در سطح آب نمایان است همان وبی است که ایندکس شده است. و از منظر کیفی باید گفت: اطلاعات بخشهای مختلف این مجموغه به ویژه منایع اطلاعانی موجود در وب عمیق, معمولاً منابع ارزشهند و مفیدی هستند و در بسیاری از موارد پاسخگوی نیاز کاربران می باشند. تقریباً بیش از نیمی از وب نامرئی را پایگاه های اطلاعاتی موضوعی گیل مید هند. 

صفحه 10:
نمونه ای از اعمال غیرقانونی در وب عمیق از آنجایی که وب عمیق از دید بسیاری پنهان است, مکان خوبی برای کارهای مشکوک به حساب می‌آید و بسیاری از مجرمان اینترنتی در فوروم‌هایی با ی شایه وقتی صحبت از بخش تاریک اینترنت به میان بياید. جیرهایی از قببل خرید کار ی را اها دك عون سان ار ترا را ان پورنوگرافی کودک, تجارت اسلحه, خرید و فروش مواد مخدر, قاتلین اجاره‌ای و تروریسم بخشی از محتوای ناخوشایند وب عمیق محسوب می‌شوند که آنرا به بزرگترین بازار سیاه موجود تبدیل کرده‌اند. در وب عمیق می‌توانید سایت‌هایی راید ‎Bienes) Genco el Give IIs ne‏ می‌رسند. 

صفحه 11:
1- وب مات یا تاربك ۷۷6 08۵06 )) بخشی از فضاي وب نامرنی به وب مات موسوم گردیده که می‌توانسته مورد استفاده کاربران قرار گیرد. اما به دللیل زیر اين اطلاعات در خارج از دسترس کاربران قرار گرفته و موتورهاي كاوس نميئوائتد أنها را بازيابي كتيده - از آنجا كه اولاً محيظ وب دائماً در تغيير است و هر روز منابع و اطلاعات جديد به آن افزوده مي‌گردد و ثانیاً صفحاتي در وب وجود دارند که هیچ پيوندي بین آن‌ها با متابع دیگر برقرار نشده, خزنده‌هاي موتورهاي جستجو قادر به یافتن این صفحات و همگام تمودن خود با این حجم عظیم اطلاعات نیستند. - به دلیل محدودیت توانايي, نرم‌افزارهاي خزنده فرصت کافي براي روزآمدسازي صفحات جدید وب را ندارند. موتورهاي کاوش نیز امکان روزآمدسازي حجم عظيمي از اطلاعات و منایع جدید را ندارند و به همین دلیل بسياري از این اطلاعات از حوزه موتوزهاي کاوش دور مي‌مانند - محدودیت توان مالي بسياري از موتورهاي کاوش سبب گردیده که موتورهای کاوش نتوانند تمام صفحات وب سایت‌ها را نمايه‌سازي کنند. چرا که براي آن‌ها هزينه‌هاي زيادي دارد و بنابراین موتورهاي کاوش بتا بر سياست‌هاي خودشان, تنها بخشي از وب سایت‌ها یا لايه‌هاي بيروني آن‌ها را تمايةسازي ميكنند. بنابراين هميشه بخش عظيم لابه‌هاي دروني وب سایت‌ها پتهان می‌مانند. 

صفحه 12:
2- وب عمیق جل نكر ار و تامرتي به توعان از اطلاعات الک یکی ‎Ava‏ ‏اطلاق مي‌شود که بسباري از بايكادهاى اطلاعرساني: آنها را از طريق شبكة جهان گستر وب در دسترس موم فرار ذاده‌اند. برخي این اطلاعات را به رایگان؛ و برخي ديكر را با دریافت هزینه در دسترس عموم قرار مي‌دهند. مندرجات این پایگاه‌ها معمولاً خارج از حوزه جستجوي موتورهاي کاوش قرار دارند هريك از این پایگاه‌ها صفحه جستجوي مبتني بر وب دارند. که امکان جستجو در آن‌ها براي کاربران را فراهم مي‌کند, اما خزنده‌هاي موتورهاي جستجو توان ورود به آن‌ها را تدارند و در شچه حجم آنبوهي از اطلاعات, تمایه تشد باقي می‌ماند به عنوان صونه اکر بل متس موصوعي ‎Min)‏ يك دانشجوي رشته پزشكي) بخواهد خود را به موتورهاي کاوش معمولي محدود کند و قواند به پایگاه‌های اطلاعاني تخصصي مراجعه تماید یا از وجود آن‌ها آگاه ‎ale‏ از دسترسي به حجم انبوهي ار اطلاعات محروم خواهد ماند. سابراین كاربر بايد در اين موارد از طریق موتورهاي جستجو, پايگاه‌هاي مرتبط با موضوع خود را شناسايي کند و سپس جداکانه به جسنجو در آن‌ها ببردارد ۲ از دسترسي به وب عمیق باز نماند. 

صفحه 13:
3 - وب خصوصي ۷۷6 ۳۳۱۷۵۲6 )) و وب ملکی ‎((Proprietary Web‏ بخشي دیگر از وب تايرتي وجود دارد که چون اطلاعات موجود در آن جرو دارايهاي شخصي ‎١,‏ خصوصي شازمانها يا أقراد فل باشد؛ از حوره دسترسي موتورهاي جستجو بنهان الست. مثلاًادر برخي از سارمانها و مؤسسات ‎eee‏ و ای ‎Pee seen oy er‏ سازماني و پرسئلي خود حفاظت مي‌کنند اجازه دسترسي به آن‌ها را به دبگران تمهت و ققط كيان كه ارات انم كاري و روا هه بر ام ونوا آن‌ها اسفادی کندد این بخش, وب خصوصی محسیت عی کرد خش ديكرة ‎all‏ اس اوق رای ال به آن‌ها از طریق پرداخت حق اشتراك و خرید محصولات اطلاعاتي شرکت‌هاي معتلف صورت مي‌گیره وب علکي4 ‎xis U‏ دن شوو 

صفحه 14:
4 - وب واقعا پنهان ۷۷۵۵ >۱ز6ز۱۳۷ ۲۲۵۱۷)) پخش گر از وب مان و دار ا مسائل کی و تاکارا مس رها جستجو از دسنزسي کاربران دوزمانده است بسياري از موتورهای جستجو قادر به بازيابي اطلاعات متني اچ‌تي‌ام‌ال هستند. ولي توانايي بازيابي فايل‌هاي یاف را تاره یه لل كدو سا سال و قار دوي فال اق غيرمتني صرف‌نظر کرده‌اند. بنابراین منابع اطلاعاتي متنوعي نیز در وب وجود دارند که تنها به دلیل محدوديت‌هاي فناورانه یا مالي موتورهاي جست وجو از حوزه کاوش آن‌ها و در تیجه از دسترس کازبران دوز مانه‌اند: 

صفحه 15:
شيو قات کسی اطلاعای در و نامرتی در جال حاضر ابزارهایي ی ورد آمده‌اند که منایع رب تايرتي راشای و كاررران !به تا ی رای سس ی رک رس بزرگراه‌هاي اطلاعاتي و کتابخانه‌هاي مجازي پذیرفته شده است؛ بطوري که فقط توصيفي از پایگاه‌هاي اطلاعاتي و مجلات نامرتي را ارائه مي‌کنند: مثل سایت« ۷/6 5[916ا۱۳۷» که فهرستي از منابع نامرئي و سایت 060۳00۱66 ۲ که فهرستي از تقریباً 40000 پایگاه اطلاعاتي وب نامرئي را ارائه مي‌هند. برخی دیگر از ابزارهاي اطلاح‌بایی بر وجود دارند که با یی جستتدو در اینترنت می توانید به انها دسترسی داشته باشید. 

صفحه 16:
خلاصه و نتیجه گیری افزایش روز افزون منابع اطلاعاتي در اینترنت و مشکلات فني و غيرفني ف درفاء ‎mals‏ با ریک یم یی ار ان ات از دب كار ران ‎alan‏ بعات و به وان وب تامزتي مورد بخت بساري از متحضضان اطلاع‌رسانی قرار گیرد. همانطوري که مي‌دانیم امروزه گرایش بسياري از کتابخانه‌ها و مراکز اطلاعرشاني و محققان به سوی دیجینالي کردن نایم وافراردادن آن‌ها در مخیطا اشتت بيباش جا رسرسي مطلون متابع دجير شده ادر !سريت وجود ‎OSs oS ino, ole Gels Hoyas oul antl‏ بشر به ‎gis‏ ری ی یا تس رای ی ی اطلاع‌رسانان نیز با آگاه‌کردن کاربران از وجود وب نامرئي و شيوه‌هاي دستيابي و اطلاعبابي کاربزان از این اطلاعات مي‌توانند نقش مهمي را در کاستن سطح نامرئي اطلاعات ‎BSc,‏ السه باید پادآور شد كه به دليل بزوفشها و ببشرفتهاي اخير در حوره بازياني اطلاعات جدادر بك فتى و جه ار نظر برويكرة كاز كدان أبندة روكن ترد در پارای اطات درم ‎a‏ و ی ان وه ‎as‏ را ار ای در و و ی سا ای کارا بتدری ارس بایاییاطلاعات بر محیظ و ‎aus‏ شود 

صفحه 17:
در پایان مارم رت اس ی دی و تقدار موی ار در رجه جالب توحه نیست ویک ‎lls‏ ایندکش نشدن این محنواها پیز همین آمز اس ی هر و فول القاقة جالب وه ات متا توت کامل ی ای ری را آفورمانیی بسیار بشترفته و هسیتظور سایمای عشافان ستکاری ها وتات و ساز از هر نوع نظیر امواح رادیوئی و اسناد بسیار حساس بعضی دولتها روی ديب وب مستتة. اما لارم است توص زاره شود که يا ايتوعه بايد وخناط يود و هی وانی را که روی تیب وب ياقت امن شو تابد تاتلود کر مراک فى تواشد بسار دووعین وعطرتای پاستد ديب وب قيلي عورد نوجة انون مون فيل ‎chute‏ روي وب عميق هجانقدر كه مددان محواف فوق الثادة جللب ياقت كهار ‎Berea ae anak‏ ل ا كد علادة بر ان ديت وب الى | قطر اواك دروي ای ی