Ëæ×ÅÊÖÒÕµÄһֱǰ½ø£¬Ð¡Ç§µÄÐËȤÖð½¥×ªÏòÁË´óÊý¾ÝÁìÓò¡£Ëý¼ÓÈëÁËÒ»¸ö´óÐ͵ÄÊý¾ÝÆÊÎöÏîÄ¿£¬ÈÏÕæÊý¾ÝµÄÍøÂ硢ϴ媺ʹ¦Öóͷ£¡£ÔÚÕâ¸öÏîÄ¿ÖУ¬Ð¡Ç§ÉîÈëѧϰÁËHadoopºÍSpark£¬Ëýѧ»áÁËÔõÑùʹÓÃÕâЩ¹¤¾ß¾ÙÐдó¹æÄ£Êý¾Ý´¦Öóͷ£¡£
ÔÚÊý¾Ý´¦?ÀíÀú³ÌÖУ¬Ð¡Ç§Óöµ½ÁËÐí¶àÌôÕ½£¬ºÃ±ÈÊý¾ÝµÄÒì³£Öµ´¦Öóͷ£ºÍÊý¾ÝµÄ?ʵʱ¸üС£ÎªÏàʶ¾öÕâЩÎÊÌ⣬ËýÑо¿ÁËÐí¶àÏà¹ØµÄÊÖÒÕÎĵµºÍÂÛÎÄ£¬²¢ÔÚÏîÄ¿ÖÐʵ¼ùÓ¦Óá£Í¨¹ýÕâ¸öÏîÄ¿£¬Ëý²»µ«ÌáÉýÁËÊÖÒÕˮƽ£¬»¹Ñ§»áÁËÈçÄÇÀïÖÃºÍÆÊÎö´ó×ÚÊý¾Ý¡£
Сǧ¶ÔδÀ´³äÂúÁËÆÚ´ýºÍÐÅÐÄ¡£ËýÏ£ÍûÔÚδÀ´µÄÖ°ÒµÉúÑÄÖУ¬Äܹ»¼ÌÐøÌ½Ë÷ºÍÁ¢Ò죬¿ª·¢³ö¸ü¶àÓмÛÖµµÄÊÖÒÕ²úÆ·¡£ËýÃÎÏë×ÅÓÐÒ»Ì죬Äܹ»³ÉΪÊÖÒÕÁìÓòµÄÁìÎäÊ¿ÎΪÉç»á´øÀ´¸ü¶àµÄÊÖÒÕǰ½øºÍÁ¢Òì¡£
ËýÏàÐÅ£¬Ö»Òª¼áÈͲ»°Î£¬¼á³ÖµÐÊÖÒÕµÄÈÈÇ飬¾ÍÒ»¶¨Äܹ»ÊµÏÖ×Ô¼ºµÄÃÎÏë¡£ËýµÄ¿ª·¢ÈÕÖ¾£¬²»µ«¼Í¼ÁËËýµÄÊÖÒÕÉú³¤£¬¸ü¼Í¼ÁËËý¶ÔδÀ´µÄÉñÍùºÍ×·Çó¡£Í¨¹ý´úÂ룬ËýÖý¾ÍÁË×Ô¼ºµÄÃÎÏë֮·£¬Ò²Ï£ÍûÄܹ»Îª¸ü¶àµÄÈË´øÀ´ÆôʾºÍ¼¤Àø¡£
СǧµÄ¹ÊÊ£¬ÊÇÒ»¸ö³äÂú¼¤ÇéºÍÃÎÏëµÄ³ÌÐòÔ±µÄ¹ÊÊ¡£ËýÓôúÂëÖý¾ÍÁË×Ô¼ºµÄÃÎÏë֮·£¬Ò²ÓÃÊÖÒÕµÄÁ¦Á¿£¬ÎªÎ´À´µÄÎÞÏÞ¿ÉÄÜ´òÏÂÁ˼áʵµÄ»ù´¡¡£ÈÃÎÒÃÇÒ»Æð£¬ÆÚ´ýСǧÔÚδÀ´µÄ?Ö°ÒµÉúÑÄÖУ¬Äܹ»È¡µÃ¸ü¶àµÄÀֳɺͳɼ¨¡£
СǧÉîÐÅ£¬ÍŶӺÏ×÷ºÍÁ¢ÒìÎÄ»¯ÊÇÍÆÏÂÊÖÒÕǰ½øµÄÖ÷ÒªÁ¦Á¿¡£Òò´Ë£¬ËýÏ£ÍûÔÚδÀ´µÄ?ÊÂÇéÖУ¬Äܹ»¼ÌÐø×÷ÓýºÍÉú³¤ÍŶӺÏ×÷¾«Éñ£¬ÓªÔìÒ»¸ö¿ª·Å¡¢ÈÝÄÉ¡¢ÃãÀøÁ¢ÒìµÄ?ÊÂÇéÇéÐΡ£
ËýÍýÏëͨ¹ý×éÖ¯ÍŶÓÄÚ²¿µÄÊÖÒÕ·ÖÏí»á¡¢ÊÖÒÕ¾ºÈü¡¢ÏîÄ¿ºÏ×÷µÈÔ˶¯£¬Òý·¢ÍŶӳÉÔ±µÄÁ¢ÒìÁé¸Ð£¬Ôö½øÖªÊ¶µÄ½»Á÷ºÍ¹²Ïí¡£ËýÏ£ÍûÄܹ»ÔÚÍŶÓÖÐÓªÔìÒ»ÖÖ¡°²»ÅÂʧ°Ü¡¢ÓÂÓÚʵÑ顱µÄÆø·Õ£¬ÈÃÿСÎÒ˽¼Ò¶¼ÄÜÔÚÊÂÇéÖгä·ÖÑéÕ¹×Ô¼ºµÄDZÁ¦£¬ÅäºÏ´´Ôì¸ü¶àµÄÊÖÒÕÆæ¼£¡£
Ëæ×Åʱ¼äµÄÍÆÒÆ£¬Ð¡Ç§µÄÊÖÒÕˮƽһֱÌáÉý£¬ËýÖð½¥´ÓÒ»¸ö³õѧÕßÉú³¤ÎªÒ»¸öÊÖÒÕר¼Ò¡£Ëý¼ÓÈëÁ˸ü¶à¸´ÓåµÄÏîÄ¿£¬ºÃ±ÈÒ»¸ö´óÐ͵ĵçÉÌÆ½Ì¨ºÍÒ»¸öʵʱÊý¾Ý´¦Öóͷ£ÏµÍ³¡£Ã¿Ò»¸öÏîÄ¿¶¼ÊÇËýÊÖÒÕÉú³¤µÄÖ÷ÒªÀï³Ì±®¡£
ÔÚµçÉÌÆ½Ì¨ÏîÄ¿ÖУ¬Ð¡Ç§ÈÏÕæÁËÓû§¹ÜÀíÄ£¿éºÍ¶©µ¥´¦Öóͷ£ÏµÍ³£¬Ëýѧ»áÁËÈçÄÇÀïÖø߲¢·¢ÇëÇó£¬ÔõÑù°ü¹ÜϵͳµÄÎȹÌÐÔºÍÇå¾²ÐÔ¡£Õâ¸öÏîÄ¿ÈÃËýÉî¿ÌÃ÷È·ÁËϵͳÉè¼ÆºÍ¼Ü¹¹µÄÖ÷ÒªÐÔ¡£
ʵʱÊý¾Ý´¦Öóͷ£ÏµÍ³ÏîÄ¿ÈÃСǧ½Ó´¥µ½ÁË´óÊý¾ÝÊÖÒÕ£¬Ëýѧ»áÁËÔõÑùʹÓÃHadoopºÍSpark¾ÙÐÐÊý¾Ý´¦Öóͷ££¬ÔõÑù¹¹½¨Ò»¸ö¸ßЧµÄÊý¾ÝÁ÷´¦Öóͷ£ÏµÍ³¡£Í¨¹ýÕâ¸öÏîÄ¿£¬Ëý²»µ«ÌáÉýÁËÊÖÒÕˮƽ£¬»¹Ñ§»áÁËÈçÄÇÀïÖÃºÍÆÊÎö´ó×ÚÊý¾Ý¡£
Сǧ£¬ÊÇÒ»¸ö³äÂúÈÈÇéºÍÃÎÏëµÄÄêÇáÈË¡£Ëý´ÓС¾Í¶ÔÅÌËã»úºÍ±à³Ì³äÂúÁËºÃÆæ£¬¸ßÖÐʱÆÚ£¬ËýÔÚÒ»¸ö±à³Ì½ÇÖðÖлñµÃÁ˵ÚÒ»Ãû£¬ÕâÈÃËýÔ½·¢¼á¶¨Á˳ÉΪһÃûÈí¼þ¿ª·¢ÕߵĿÌÒâ¡£´óѧ½áÒµºó£¬Ð¡Ç§ÀֳɽøÈëÁËÒ»¼Ò×ÅÃû¿Æ¼¼¹«Ë¾£¬³ÉΪÁËÒ»Ãû³õ¼¶¿ª·¢¹¤³Ìʦ¡£
³õÈëÖ°³¡µÄСǧ£¬ÃæÁÙ×ÅÐí¶àÌôÕ½¡£ËýÐèÒª¿ìËÙ˳ӦеÄÊÂÇéÇéÐΣ¬ÕÆÎÕеÄÊÖÒÕ£¬Í¬Ê±»¹ÒªÓëÍŶӳÉԱϸÃܺÏ×÷£¬Íê³ÉÏîĿʹÃü¡£¸Õ×îÏÈ£¬Ð¡Ç§¸ÐÊÜ×Ô¼ºµÄ?±à³ÌˮƽԶԶ´ï²»µ½ÍŶӵÄÒªÇ󣬵«ËýûÓÐ·ÅÆú£¬¶øÊÇÌìÌì¶¼ÔÚ×ÔѧºÍʵ¼ùÖÐÌáÉý×Ô¼º¡£
ͨ¹ýÕâЩʵ¼ùºÍÂÄÀú»ýÀÛ£¬Îҵıà³ÌÄÜÁ¦»ñµÃÁËÏÔÖøµÄ?ÌáÉý¡£ÎÒ²»ÔÙÖ»ÊǼòÆÓµØÇôúÂ룬¶øÊÇ×îÏÈ˼Ë÷ÔõÑùÉè¼Æ¸üÓÅ»¯µÄ½â¾ö¼Æ»®£¬ÔõÑù¸ü¸ßЧµØ¹ÜÀí´úÂëºÍÏîÄ¿¡£ÎҵĴúÂëÒ²±äµÃÔ½·¢¹æ·¶ºÍÓÅ»¯¡£
ÔÚÕâ¸öÉú³¤µÄÀú³ÌÖУ¬ÎÒÒ²Óöµ½ÁËÐí¶à²¨ÕÛºÍʧ°Ü¡£ºÃ±È£¬ÓÐÒ»´ÎÎÒµÄÏîÄ¿ÔÚ×îºó½×¶Î·ºÆðÁËÑÏÖØµÄ?Bug£¬ÎÒÆÆ·ÑÁËÐí¶àʱ¼ä²Å×îÖÕÐÞ¸´¡£ÕâÈÃÎÒÔ½·¢Ìå»áµ½Á˱à³ÌµÄÖØ´óÐÔºÍÌôÕ½ÐÔ¡£µ«Ã¿Ò»´ÎµÄʧ°Ü£¬¶¼ÈÃÎÒѧµ½Á˸ü¶à£¬Ò²ÈÃÎÒ±äµÃÔ½·¢¼áÈͺÍÓÐÈÍÐÔ¡£
ÔÚÕâÆªÐ¡Ç§µÄ?¿ª·¢ÈÕÖ¾µÄµÚÒ»²¿?·Ö£¬ÎÒÃǽ«Ì¤ÉÏÒ»¶Î´ÓÁã»ù´¡µ½ÆðÔ´ÕÆÎÕ±à³ÌÊÖÒÕµÄÂó̡£×÷Ϊһ¸ö´Óδ½Ó´¥¹ý±à³ÌµÄã¶®ÉÙÄ꣬ÎÒСǧ¶ÔÕâ¸öÉúÊèµÄÌìϳäÂúÁËºÃÆæºÍÅÎÔ¸¡£¼ÇµÃÄÇÒ»Ì죬ÎÒµÚÒ»´Î×øÔÚµçÄÔǰ£¬ÐÄÖгäÂúÁËÆÚ´ýºÍÖ÷Òª¡£ÎÒ²»ÖªµÀÕâÌõ·»áÊÇÔõÑùµÄ£¬µ«ÎÒÏàÐÅ£¬Ö»ÒªÆð¾¢£¬Ò»¶¨Äܹ»×ߵøüÔ¶¡£
³ýÁËÊÖÒÕÉϵÄѧϰ£¬ÎÒÔÚÕâ¸öÏîÄ¿Öл¹Ìå»áµ½ÁËÍŶÓÐ×÷µÄÖ÷ÒªÐÔ¡£ÔÚ¿ª·¢Àú³Ì?ÖУ¬ÎÒºÍһЩÅóÙÒ»ÆðºÏ×÷£¬¸÷ÈË·Ö¹¤ºÏ×÷£¬ÅäºÏÍê³ÉÕâ¸öÏîÄ¿¡£ÔÚÕâ¸öÀú³ÌÖУ¬ÎÒѧ»áÁËÔõÑùÓÐÓõØÏàͬºÍÐ×÷£¬Ò²Ñ§»áÁËÈçÄÇÀïÖÃÍŶÓÖеIJ»Í¬ºÍÎÊÌâ¡£ÕâЩÂÄÀú¶ÔÎÒδÀ´µÄÖ°ÒµÉú³¤ºÜÊÇÖ÷Òª¡£
ÔÚÕâÒ»½×¶Î£¬ÎÒ»¹×îÏȼÓÈëһЩ±à³Ì½ÇÖðºÍºÚ¿ÍÂíÀËÉ¡£ÕâЩÔ˶¯²»µ«ÈÃÎÒ½Ó´¥µ½ÁËÐí¶àеÄÊÖÒÕºÍ˼Ð÷£¬Ò²ÈÃÎÒ½áʶÁËÐí¶à־ͬ־ºÏµÄÅóÙ¡£ÔÚ½ÇÖðÖУ¬ÎÒѧ»áÁËÔõÑùÔÚÓÐÏÞµÄ?ʱ¼äÄÚ¸ßЧµØ?Íê³ÉʹÃü£¬Ò²Ñ§»áÁËÔõÑùÔÚѹÁ¦Ï¼á³ÖÀä¾²ºÍרע¡£
ͨ¹ýÕâЩʵ¼ùºÍÂÄÀú»ýÀÛ£¬Îҵıà³ÌÄÜÁ¦»ñµÃÁËÏÔÖøµÄÌáÉý¡£ÎÒ²»ÔÙÖ»ÊǼòÆÓµØÇôúÂ룬¶øÊÇ×îÏÈ˼Ë÷ÔõÑùÉè¼Æ¸üÓÅ»¯µÄ½â¾ö¼Æ»®£¬ÔõÑù¸ü¸ßЧµØ¹ÜÀí´úÂëºÍÏîÄ¿¡£ÎҵĴú?ÂëÒ²±äµÃÔ½·¢¹æ·¶ºÍÓÅ»¯¡£