מה בדיוק 'נתונים גדולים'?

ולמה זה עניין גדול?

"נתונים גדולים" הוא המדע החדש של הבנה וחיזוי ההתנהגות האנושית על ידי לימוד כמויות גדולות של נתונים לא מובנים. נתונים גדולים ידועים גם בשם 'אנליזה מנבאת'.

ניתוח פוסטים בטוויטר, פייסבוק הזנות, חיפושים ב- eBay, עוקבים GPS, מכונות ATM הם כמה דוגמאות נתונים גדולים. לימוד קטעי וידאו אבטחה, נתוני תנועה, דפוסי מזג אוויר, כניסות טיסה, יומני מגדל טלפון סלולרי, קצב הלב קצב הלב הם צורות אחרות. נתונים גדולים הוא מדע חדש מבולגן המשתנה מדי שבוע, ורק כמה מומחים מבינים את כל זה.

מה הן דוגמאות של נתונים גדולים בחיים רגילים?

בעוד שמרבית פרויקטי הנתונים הגדולים מאוד מעורפלים, ישנן דוגמאות מוצלחות של נתונים גדולים המשפיעים על חיי היומיום של יחידים, חברות וממשלות:

חיזוי התפרצויות וירוסים: על ידי לימוד נתונים סוציו-פוליטיים, נתוני מזג אוויר ואקלים, ובית חולים / נתונים קליניים, מדענים אלה צופים כעת התפרצויות קדחת של דנגה עם הודעה מוקדמת של 4 שבועות.

הרצח Watch: זה פרוייקט נתונים גדולים פרופילים לרצח קורבנות, חשודים, פושעים בוושינגטון. הן כדרך לכבד את המנוח והן כמשאב מודעות לאנשים, פרויקט הנתונים הגדול הזה מרתק.

Transit Travel Planning, NYC: מתכנת הרדיו WNYC, סטיב מלנדז, שילב את לוח הזמנים של הרכבת התחתית באינטרנט עם תוכנת הנסיעה. יצירתו מאפשרת לניו יורק ללחוץ על מיקומם על המפה, וכן תחזית של זמן הנסיעה ברכבות התחתית יופיע.

זירוקס צמצמה את אובדן כוח העבודה שלהם: עבודת מוקד טלפוני מותשת מבחינה רגשית. זירוקס למדה רימס של נתונים בעזרת אנליסטים מקצועיים, ועכשיו הם יכולים לחזות איזה מוקד טלפוני צפוי להישאר עם החברה הארוך ביותר.

תמיכה בטרור: על ידי לימוד מדיה חברתית, רישומים פיננסיים, הזמנת טיסות ונתוני אבטחה, אכיפת החוק יכולה לנבא ולאתר חשודים בטרור לפני שהם עושים את מעשיהם המרושעים.

התאמת מותג שיווק מבוסס על מדיה חברתית ביקורות : אנשים בוטה ובמהירות לשתף את המחשבות באינטרנט על פאב, מסעדה, או מועדון כושר. אפשר ללמוד את מיליוני המנויים בתקשורת החברתית ולספק משוב לחברה על מה שאנשים חושבים על השירותים שלהם.

מי משתמש בנתונים גדולים? מה הם עושים עם זה?

תאגידים מונוליטיים רבים משתמשים בנתונים גדולים כדי להתאים את הצעותיהם ואת המחירים כדי למקסם את שביעות רצון הלקוחות.

• החנות של מייסי , למשל, משתמשת בנתונים גדולים כדי להתאים את המחירים שלהם על לטוס עבור מעל 70 מיליון מוצרים. הם אפילו לשלוח הודעות דוא"ל מותאמות אישית ללקוחות שלהם על סמך מה מייסיס מאמין שהם מעוניינים.
  
• תגובת המשטרה להפצצת המרתון בבוסטון : באמצעות שימוש בנתונים גדולים כדי ללמוד תמונות וידאו ומעקב, המשטרה הצליחה לצמצם במהירות את החיפוש אחר החשודים.
  
• מורטון של Steakhouse משתמשת לצפצף כדי לשבור פעלולים שיווקיים, כולל משלוח המפורסם בניו ג'רזי התעופה של סטייק porterhouse וארוחה שרימפס.
  
• ויזה משתמשת בנתונים גדולים כדי לזהות ולתפוס הרמאים. עסקאות יחיד פה ושם יכול בקלות להסתיר את המשתמש כרטיס אשראי ישר, אבל על ידי צפייה מיליוני עסקאות בזהירות, דפוסי הונאה ניתן לאתר.
  
• פייסבוק משתמשת בנתונים גדולים כדי להתאים את הפרסום . על ידי לימוד זהירות FB שלך ואת הרגלי הגלישה, ענקית המדיה החברתית יש תובנה מוזרה לתוך הטעם שלך. מודעות צדדיות אלה שאתה רואה בעדכון הפייסבוק שלך נבחרות על ידי אלגוריתמים מכוונים ומורכבים מאוד, שצפו בהרגלי הפייסבוק שלך.

מדוע נתונים גדולים כגון עסקה גדולה?

4 דברים עושים נתונים גדולים משמעותיים:

1. הנתונים מסיביים. זה לא יתאים על כונן קשיח אחד , הרבה פחות מקל USB . נפח הנתונים עולה בהרבה על מה שהמוח האנושי יכול לתפוס (חשבו על מיליארד מיליארד מגה בייט, ואז הכפילו את זה במיליארדים נוספים).

2. הנתונים מבולגן ולא מובנה. 50% עד 80% של נתונים גדולים העבודה היא המרת וניקוי המידע, כך ניתן לחיפוש ו sortable. רק כמה אלפי מומחים על הפלנטה שלנו יודעים איך לעשות את זה ניקוי נתונים. מומחים אלה זקוקים גם כלים מיוחדים מאוד, כמו HPE ו Hadoop, לעשות מלאכה שלהם. אולי בעוד 10 שנים, מומחי נתונים גדולים יהפכו לתריסר דולר, אבל לעת עתה, הם מין נדיר מאוד של אנליסטים ועבודתם עדיין מאוד מעורפלת ומייגעת.

3. הנתונים הפכו למצרך ** שניתן למכור ולרכוש. שוקי נתונים קיימים כאשר חברות ויחידים יכולים לקנות טרה-בייטים של מדיה חברתית ונתונים אחרים. רוב הנתונים מבוססי ענן, שכן הוא גדול מדי כדי להתאים לכל דיסק קשיח יחיד. קניית נתונים בדרך כלל כרוכה בתשלום מנוי שבו אתה מתחבר לחוות שרת ענן.

** המנהיגים של כלי נתונים ורעיונות גדולים הם אמזון, גוגל, פייסבוק ויאהו. בגלל חברות אלה לשרת כל כך הרבה מיליוני אנשים עם השירותים המקוונים שלהם, זה הגיוני כי הם יהיו נקודת איסוף החזון מאחורי נתונים גדולים analytics.

4. האפשרויות של נתונים גדולים הם אינסופיים. אולי יום אחד רופאים יחשפו התקפי לב ושבץ ליחידים לפני שהם קורים. התרסקות מטוס ותאונת כלי רכב יופחתו על ידי ניתוחים מנבאים של הנתונים המכניים שלהם ודפוסי תנועה ומזג האוויר. היכרויות באינטרנט עשוי להשתפר על ידי בעל נתונים גדולים מנבאים של מי הם אישים תואמים בשבילך. מוזיקאים עשויים לקבל תובנה מה הרכב המוסיקה היא הכי מהנה את הטעם המשתנה של קהלי היעד. תזונאים יכול להיות מסוגל לחזות איזה שילוב של מזון קנו בחנות יהיה להחמיר או לעזור למצבו הרפואי של האדם. פני השטח רק נשרטו, ותגליות בנתונים גדולים מתרחשות מדי שבוע.

נתונים גדולים הוא מסובך

נתונים גדולים הוא ניתוח אנליטי: המרת נתונים בלתי מובנים מסיבית למשהו שאפשר לחפש ולמיין. זהו מרחב מבולגן כאוטי הדורש סוג מיוחד של ידע וסבלנות.

קח למשל את שירות משלוח מונוליטי UPS. מתכנתים ב- UPS נתונים המחקר מן GPS של הנהגים שלהם ואת הטלפונים החכמים כדי לנתח את הדרכים היעילות ביותר להסתגל גודש התנועה. זה GPS ונתונים החכם הוא ענקי, ולא מוכן באופן אוטומטי לניתוח. נתונים אלה שופך מ GPS שונים ומאגרי מפה, באמצעות התקני חומרה שונים החכם. האנליסטים של UPS השקיעו חודשים בהמרת כל הנתונים הללו לפורמט שניתן לחפש ולמיין בקלות. המאמץ היה שווה את זה, אם כי. כיום, UPS שמרה מעל 8 מיליון גלונים של דלק מאז שהם התחילו להשתמש בנתונים אלה נתונים גדולים.

בגלל הנתונים הגדולים הוא מבולגן דורש כל כך הרבה מאמץ כדי לנקות ולהתכונן לשימוש, מדעני נתונים הפכו nicknamed "נתונים נתונים" עבור כל העבודה המייגעת שהם עושים.

המדע של נתונים גדולים וניתוח אנליטי משתפר בכל שבוע. צפו נתונים גדולים כדי להיות נגיש לכל אחד עד שנת 2025.

האם לא נתונים גדולים איום פולשני לפרטיות?

כן, אם החוקים וההגנות הפרטיות הפרטיות שלנו לא מנוהלים בקפידה, אז נתונים גדולים חודרים לפרטיות האישית. כפי שהוא עומד, גוגל ו- YouTube ו- Facebook כבר מעקב אחר הרגלי היומיום שלך באינטרנט . הטלפון החכם והמחשוב שלך משאיר עקבות דיגיטליים מדי יום, וחברות מתוחכמות לומדות את העקבות.

החוקים סביב נתונים גדולים מתפתחים. פרטיות היא מצב שבו אתה חייב עכשיו לקחת אחריות אישית, כפי שאתה כבר לא יכול לצפות לזה כברירת מחדל.

מה תוכל לעשות כדי להגן על הפרטיות שלך:

הצעד היחיד הגדול ביותר שניתן לנקוט הוא להסוות את הרגלי היומיום שלך באמצעות חיבור רשת VPN . שירות VPN יטשטש את האות שלך כך שהזהות והמיקום שלך יוסתרו באופן חלקי על ידי עוקבים. זה לא יגרום לך 100% אנונימי, אבל VPN יהיה להפחית באופן משמעותי כמה העולם יכול להתבונן הרגלים באינטרנט שלך.

היכן ניתן ללמוד עוד על נתונים גדולים?

נתונים גדולים הוא דבר מרתק עבור אנשים עם מוח אנליטי ואהבה טק. אם זה אתה, אז בהחלט לבקר בדף זה של פרויקטים נתונים מעניינים גדולים.