½ð²Ê»ã

µã»÷ÏÂÔØ¡¶ÍòÕ×Ô°ÇøÒÔÌ«²Ê¹â×êÑл㱨¡·£¬½âËøÍòÕ×Ô°ÇøÍøÂ罨ÉèÖ¸ÄÏ
Á¢¼´ÏÂÔØ
ÎÞ¸Ð×¼Èë ÈËÎïͳ¹Ü Ø­ RG-SAM+5.X ÐÂÒ»´ú¸ßУAIÈÏ֤ƽ̨°ä²¼
date
Ô¤Ô¼Ö±²¥
½ð²Ê»ã - Ê×Ò³
²úÆ·
< ·µ»ØÖ÷²Ëµ¥
²úÆ·ÖÐÐÄ
²úÆ·
½â¾ö¹æ»®
< ·µ»ØÖ÷²Ëµ¥
½â¾ö¹æ»®ÖÐÐÄ
ÐÐÒµ
ºÏ×÷ͬ°é
·µ»ØÖ÷²Ëµ¥
Ñ¡ÔñÇøÓò/˵»°
½ð²Ê»ã - Ê×Ò³
½ð²Ê»ã - Ê×Ò³ ½ð²Ê»ã - Ê×Ò³

dz̸MoE¼¼ÊõµÄÒýÈë¶Ô»ú¼äͨѶ´ø¿íµÄÓ°Ïì

¼¼Êõ¸Ä¸ïµÄº£³±Ó¿À´£¬MoE¼¼ÊõµÄ³öÏÖΪ»úе½ø½¨ºÍÉî¶È½ø½¨ÁìÓò×¢ÈëÁËеĻîÁ¦£¬Óë´Ëͬʱ£¬¶ÔÖÇËãÖÐÐÄÍøÂç´øÀ´ÁËеÄÌôÕ½ ¡£

  • ½ð²Ê»ã - Ê×Ò³

    °ä²¼¹¦·ò£º2024-03-14

  • ½ð²Ê»ã - Ê×Ò³

    µã»÷Á¿£º

  • ½ð²Ê»ã - Ê×Ò³

    µãÔÞ£º

·ÖÏíÖÁ

½ð²Ê»ã - Ê×Ò³
½ð²Ê»ã - Ê×Ò³
½ð²Ê»ã - Ê×Ò³

ÎÒÏëÆÀÂÛ

Ëæ×ÅÈËΪÖÇÄܼ¼ÊõµÄ·ÉËÙ·¢Õ¹£¬´ó˵»°Ä£ÐÍ£¨LLM£©ÒѳÉΪÌìȻ˵»°´¦ÖÃÁìÓòµÄÈȵ㻰Ìâ ¡£¶øÔÚÕⳡ¼¼Êõ¸Ä¸ïµÄº£³±ÖУ¬MoE£¨Mixture of Experts£©¼¼Êõƾ½èÆä¹ÖÒìµÄÓÅÊÆ£¬ÎªLLMѵÁ·×¢ÈëÁËеĻîÁ¦ ¡£È»¶ø£¬ÔÚÏÖʵÀûÓò¿ÊðÖУ¬MoE ¼¼Êõ¶ÔÖÇËãÖÐÐÄÍøÂç´øÀ´²»Ó×µÄÌôÕ½ ¡£±¾ÎÄÖØÒª½éÉÜÁËMoE¼¼ÊõµÄµ®Éú²¼¾°µÀÀí¡¢ÀûÓÃÁìÓò£¬»áÉÌÁËÆä¶ÔÖÇËãÖÐÐÄÍøÂç´øÀ´µÄÌôÕ½ ¡£

 

MoEµ®Éú²¼¾°

MoE¼¼Êõ£¬¼´“Mixture of Experts”£¨×¨¼Ò»ìºÏϵͳ£©£¬·¢Ô´ÓÚ1991ÄêMichael I. JordanºÍRobert A. JacobsËù׫дµÄÂÛÎÄ¡¶Hierarchical Mixtures of Experts and the EM Algorithm¡· ¡£ÕâÆªÔÚÉñ¾­ÐÅÏ¢´¦ÖÃϵͳ£¨Neural Information Processing Systems£¬¼ò³ÆNIPS£©»áÒéÉϰ䷢µÄÂÛÎÄ£¬±»¹«ÒÔΪ»úе½ø½¨ÁìÓòµÄ³ÁÒªÀï³Ì±® ¡£

ÔÚ¸ÃÂÛÎÄÖУ¬JordanºÍJacobs½éÉÜÁËÒ»ÖÖÐÂÏʵÄÉñ¾­ÍøÂç½á¹¹——“µµ´Î»¯×¨¼Ò»ìºÏϵͳ”Hierarchical Mixtures of Experts£© ¡£ÆäÖ÷Ìâ˼ÏëÔÚÓÚ½«¸´ÔÓ¹¤×÷ϸ·ÖΪ¶à¸ö×Ó¹¤×÷£¬²¢±ðÀë½»ÓÉÌØ¶¨µÄ“ר¼ÒÄ£ÐÍ”½øÐд¦Öà ¡£ÕâÖּܹ¹¼¯³ÉÁ˶à¸öר¼ÒÄ£ÐÍÒÔ¼°Ò»¸öÃÅ¿ØÄ£ÐÍ £»ÃÅ¿ØÄ£ÐÍÕÆ¹Üƾ¾ÝÊäÈëµÄÊý¾ÝÌØµã£¬Ñ¡Ôñ×îÊʺϵÄר¼ÒÄ£ÐÍÀ´Ó¦¶ÔÌØ¶¨¹¤×÷ ¡£

MoE¼¼ÊõµÄÎÊÊÀΪ»úе½ø½¨ºÍÉî¶È½ø½¨ÁìÓò×¢ÈëÁËеĻîÁ¦£¬³ö¸ñÊÇÔÚ´¦ÖÃÔ̺¬¶à¸ö×ÓÎÊÌâ»ò±ØÒªÈں϶àÁìÓò֪ʶµÄ¸´ÔÓ¹¤×÷ʱ£¬MoE¼¼Êõչʾ³öÁËÆä׿ԽµÄ»úÄܺ͹ÖÒìµÄÓÅÊÆ ¡£

 

MoE¼¼ÊõµÀÀí

MoEµÄ¼¼ÊõµÀÀí»ùÓÚÒ»ÖÖ·Ö¶øÖÎÖ®µÄÕ½Êõ£¬½«¸´ÔÓÎÊÌâ·Ö»¯Îª¶à¸ö½Ïµ¥Ò»µÄ×ÓÎÊÌ⣬²¢ÎªÃ¿¸ö×ÓÎÊÌâѵÁ·Ò»¸öרÃŵÄÄ£ÐÍ£¨×¨¼Ò£© ¡£ÕâЩר¼ÒÄ£Ð͸÷×ÔÕÆ¹Ü´¦ÖÃÊäÈëÊý¾ÝµÄÒ»¸ö×Ó¼¯»òÒ»ÖÖÌØ¶¨µÄÇé¿ö ¡£ÎªÁ˶¯Ì¬µØÕûºÏÕâЩר¼ÒµÄÊä³ö²¢ÌìÉú×îÖÕÔ¤²â»ò¾ö²ß£¬MoEÒýÈëÁËÒ»¸öÃÅ¿ØÍøÂ磨Gating Network£© ¡£

1£©×¨¼ÒÄ£ÐÍ£º

È·¶¨×¨¼ÒµÄÊýÁ¿ºÍÀàÐÍ ¡£Ã¿¸öר¼Òͨ³£ÊÇÒ»¸ö½ÏÓ×µÄÉñ¾­ÍøÂ磬רÃÅÓÃÓÚ´¦ÖÃÊý¾ÝµÄÒ»¸ö×Ó¼¯»òÒ»¸öÌØ¶¨µÄ¹¤×÷ ¡£×¨¼ÒÍøÂçµÄÉè¼ÆÄܹ»Æ¾¾Ý¹¤×÷ÐèÒª½øÐж¨Ô죬ÀýÈ磬ʹÓÃÈ«ÏνӲ㡢¾í»ý²ã¡¢Ñ­»·²ãµÈ ¡£

2£©ÃÅ¿ØÄ£ÐÍ£º

ÃÅ¿ØÄ£ÐÍÊÇÒ»¸öÓÃÓÚ¾ö¶¨ÄÄЩר¼ÒÓ¦¸Ã²Î¼Óµ½µ±Ç°ÊäÈëÊý¾Ý´¦ÖÃÖеĻúÔì ¡£Ëüͨ³£Ò²ÊÇÒ»¸ö½ÏÓ×µÄÉñ¾­ÍøÂ磬ÆäÊä³öÊÇÒ»¸ö¸ÅÂÊÉ¢²¼£¬°µÊ¾Ã¿¸öר¼Ò¶Ôµ±Ç°ÊäÈëµÄ³ÁÒªÐÔ ¡£ÃÅ¿ØÄ£Ð͵ÄÊäÈë¿ÉËùÒÔԭʼÊäÈëÊý¾ÝµÄÒ»¸ö×Ó¼¯»òÈ«Êý£¬»òÕßÊÇר¼ÒÄ£Ð͵ÄÖÐÑëÊä³ö ¡£

 

¼¼ÊõµÀÀí

µ±Ò»¸öÊäÈëÊý¾Ý½øÈëMoEϵͳʱ£¬Ê×ÏÈͨ¹ýÃÅ¿ØÍøÂçÍÆËã³öÿ¸öר¼ÒµÄ¼¤»î¸ÅÂÊ ¡£¶øºó£¬Ã¿¸öר¼ÒÍøÂç»ùÓÚÊäÈëÊý¾Ý½øÐÐǰÏò´«²¼£¬²úÉúÊä³ö ¡£

½«ËùÓÐר¼ÒµÄÊä³öƾ¾ÝÃÅ¿ØÍøÂçµÄ¼¤»î¸ÅÂʽøÐмÓȨ×éºÏ£¬µÃµ½×îÖÕµÄÄ£ÐÍÊä³ö ¡£ÕâÖÖ×éºÏ¿ÉËùÒÔµ¥Ò»µÄ¼ÓȨ¾ùÔÈ£¬Ò²¿ÉËùÒÔ¸ü¸´ÔÓµÄ×éºÏÕ½Êõ ¡£

 

MoE¼¼ÊõÀûÓÃÁìÓò

ĿǰMoE¼¼ÊõÔÚÖî¶à³¡¾°Öеõ½ÁË¿í·ºµÄÀûÓò¿Êð£º

1£©ÌìȻ˵»°´¦ÖãºÔÚ»úе·­Òë¡¢¸ÐÇé·ÖÎöµÈÌìȻ˵»°´¦Öù¤×÷ÖУ¬MoEÄܹ»¼¯³É¶à¸öÄ£ÐÍ£¬´Ó¶øÌá¸ßÎı¾Àí½âºÍÌìÉúµÄÖÊÁ¿ºÍÕýÈ·ÐÔ ¡£

2£©Í¼Ïñ¼ø±ðºÍÍÆËã»úÊÓ¾õ£ºÔÚͼÏñ·ÖÀà¡¢ÎïÌå¼ì²âºÍͼÏñÌìÉúµÈÍÆËã»úÊÓ¾õ¹¤×÷ÖУ¬MoE¿ÉÄܽáºÏ¶à¸öר¼ÒÄ£Ð͵ÄÌØµã£¬ÌáÉýÄ£ÐͶÔͼÏñµÄ±íÕ÷ºÍÀí½âÄÜÁ¦ ¡£

3£©ÍƼöϵͳ£ºÔÚ¸öÐÔ»¯ÍƼöºÍ¸æ°×Ͷ·ÅµÈÁìÓò£¬MoEÄܹ»½«¶à¸öÍÆ¼öÄ£ÐÍ×éºÏÆðÀ´£¬Ìṩ¸üÕýÈ·ºÍ¸öÐÔ»¯µÄÍÆ¼öÁ˾Ö£¬Ìá¸ßÓû§ÖÐÒâ¶ÈºÍóÒ×¼ÛÖµ ¡£

 

MoE¼¼Êõ¶ÔÍøÂçµÄÌôÕ½

¼´±ãMoE¼¼ÊõÓÐÖî¶à¼¼ÊõÓÅÊÆ£¬µ«ÏÖʵÀûÓò¿ÊðÆðÀ´¶ÔÖÇËãÖÐÐÄÍøÂ绹ÊÇ´æÔÚ²»Ó×µÄÌôÕ½ ¡£

ÓÉÓÚר¼ÒÄ£Ð͵IJ¢Ðл¯ºÍÉ¢²¼Ê½ÑµÁ·µÄÐèÒª£¬Ã¿¸öר¼Ò¿ÉÄܱØÒª´¦ÖÃËùÓÐÊäÈëÊý¾ÝµÄÒ»²¿ÃÅ£¬²¢ÇÒËüÃǵÄÊä³ö±ØÒª±»»ã×ÜÒÔÌìÉú×îÖÕÁ˾Ö£¬ÕâÖÖÐÅÏ¢»¥»»µÄģʽ¾Í»áÒýÈë»ú¼äall-to-allµÄͨѶ ¡£

ÒýÈëall-to-allͨѶµÄ¾ßÌåÔ­ÒòÓÐÒÔϼ¸µã£º

1£©×¨¼Ò¼äµÄÊý¾Ý»¥»»£ºÔÚMoEϵͳÖУ¬Ã¿¸öר¼Ò¿ÉÄܱØÒª½Ó¼ûÀ´×ÔÆäËûר¼ÒµÄÐÅÏ¢£¬ÒÔ±ãÃÅ¿ØÍøÂçÄܹ»¾ö¶¨Ã¿¸öר¼ÒµÄ¼¤»îˮƽ ¡£Õâͨ³£Éæ¼°µ½ËùÓÐר¼ÒÖ®¼äµÄÊý¾Ý»¥»»£¬¼´all-to-allͨѶ ¡£

2£©²¢ÐÐѵÁ·£ºÔÚÉ¢²¼Ê½ÑµÁ·»·¾³ÖУ¬·ÖÆçµÄר¼Ò¿ÉÄܱ»¸éÖÃÔÚ·ÖÆçµÄÍÆËã½ÚµãÉÏ ¡£ÎªÁËѵÁ·Ð§ÄÜ£¬Ã¿¸ö½ÚµãÉϵÄר¼Ò±ØÒª¼±¾ç»¥»»Êý¾Ý£¬ÕâÒ²±ØÒªÍ¨¹ýall-to-allͨѶÀ´ÊµÏÖ ¡£

3£©Ä£ÐͲ¢ÐÐÐÔ£ºµ±×¨¼ÒÄ£ÐͱäµÃ¼«¶È´óʱ£¬¿ÉÄܱØÒª½«Ò»¸öר¼ÒÄ£ÐͲð·Öµ½¶à¸öÍÆËã½ÚµãÉÏ ¡£ÕâÑù£¬Í³Ò»¸öר¼ÒÄ£Ð͵ĸ÷¸ö²¿ÃűØÒªÔÚ½ÚµãÖ®¼ä½øÐÐͨѶ£¬ÒÔά³ÖÄ£Ð͵ÄÒ»ÖÂÐÔºÍÕýÈ·ÐÔ ¡£

4£©Ï÷¼õÍÆËãÆ¿¾±£ºall-to-allͨѶÄܹ»Ô®ÊÖÏ÷¼õµ¥¸ö½ÚµãµÄÍÆËãÆ¿¾±£¬ÓÉÓÚËüÔÊÐí²¢Ðд¦Öúͻ¥»»Êý¾Ý ¡£ÕâÖÖͨѶģʽÄܹ»×î´ó»¯µØÀûÓÃÍÆËã×ÊÔ´£¬Ìá¸ßѵÁ·Ð§ÄÜ ¡£

È»¶ø£¬all-to-allͨѶҲ´øÀ´ÁËһЩÌôÕ½£¬ÈçÔö³¤ÍøÂç´ø¿íµÄÐèÒª¡¢Í¨Ñ¶ÑÓ³¤ºÍDZÔÚµÄÍøÂçÓµÈû ¡£Òò¶ø£¬ÔÚÏÖʵÀûÓÃÖУ¬±ØÒª×ÐϸÉè¼ÆÍ¨Ñ¶Õ½ÊõºÍÓÅ»¯ÍøÂçÍØÆË£¬ÒÔÈ·±£¸ßЧµÄÉ¢²¼Ê½ÑµÁ·ºÍÍÆÀí ¡£

²»ÒýÈëMoEʱµÄͨѶÊý¾ÝÁ¿

²»ÒýÈëMoEʱµÄͨѶÊý¾ÝÁ¿

ÒýÈëMoEºóµÄͨѶÊý¾ÝÁ¿

ÒýÈëMoEºóµÄͨѶÊý¾ÝÁ¿

 

ͨ¹ýÍøÉÏ»ñÈ¡µ½µÄ¹«¿ªÐÅÏ¢¶ÔGPT4½øÐн¨Ä££¬ÔÚÒýÈë16¸öMoEר¼Ò²ãºó£¬»ú¼äͨѶÊý¾ÝÁ¿Óë»úÄÚͨѶÊý¾ÝÁ¿¸ù»ù³Ôì½ £»¶øÔÚ²»ÒýÈëMoEר¼Òʱ£¬»ú¼äͨѶÊý¾ÝÁ¿ÊÇÔ¶Ó×ÓÚ»úÄÚͨѶÊý¾ÝÁ¿µÄ ¡£ÓÉ´Ë¿ÉÖª£ºMoE¼¼ÊõµÄÒýÈëÔö³¤ÁË»ú¼äͨѶµÄ±ÈÀý£¬»ú¼äͨѶµÄÍøÂç´ø¿í»úÄܱäµÃÓú·¢³ÁÒª£¬AIGCÖÇËãÖÐÐÄÍøÂçµÄ½¨ÉèÒ²³ÉΪ¸÷È˹Ø×¢µÄ³Áµã ¡££¨¡¶ITÓ°ÏìÖйú2023£º½ð²Ê»ãAI-FlexiForceÖÇËãÖÐÐÄÍøÂç½â¾ö¹æ»®ÈÙ»ñÓ°ÏìÁ¦½â¾ö¹æ»®½±¡·£©

 

×ܽá

MoEר¼Ò»ìºÏϵͳ¼¼ÊõĿǰÒѱ»¿í·ºÀûÓÃÓÚLLMѵÁ·³¡¾°ÖУ¬¸Ã¼¼Êõ¿ÉÄÜÏÔÖø¼ÓǿģÐ͵ķº»¯ÄÜÁ¦²¢ÌáÉýÔËËãЧÄÜ ¡£È»¶ø£¬ÕýÈçÿ¸ö¼¼Êõ¶¼ÓÐÆäÁ½ÃæÐÔÒ»Ñù£¬MoE¼¼ÊõÔÚ´øÀ´Öî¶àÒæ´¦µÄͬʱ£¬Ò²ÒýÈëÁË´óÁ¿»ú¼äall-to-allµÄͨѶÐèÒª£¬ÕâÎÞÒɶԻú¼äÍøÂç»úÄÜ×é³ÉÁËÑϸñÌôÕ½ ¡£

ΪÁËÓ¦¶ÔÕâÒ»ÌôÕ½£¬½ð²Ê»ãÍøÂçͨ¹ý´î½¨¸ß»úÄܵÄÖÇËãÖÐÐÄÍøÂ磬ÌáÉý»ú¼äÍøÂçµÄ´ø¿íÀûÓÃÂÊÀ´È·±£ÒµÎñµÄ¸ßÍÌÍÂÄÜÁ¦£¬»º½âÓÉMoE¼¼ÊõÒýÈëµÄ´óÁ¿Í¨Ñ¶ÐèÒª¶ÔÍøÂç»úÄÜÔì³ÉµÄѹÁ¦ ¡£

ÔÚÈ«Çò»¥ÁªÍøÁ÷Á¿²»ÐÝÔö³¤ºÍÊý¾ÝÀûÓÃÐèÒªÈÕÒæ¶àÑù»¯µÄ²¼¾°Ï£¬×÷ΪAIGCȫջ·þÎñר¼Ò£¬½ð²Ê»ãÍøÂç²»½öÖÂÁ¦ÓÚÍÆ¶¯ÍøÂç¼¼ÊõµÄ½øÈ¡ºÍ·¢Õ¹£¬¸üÊDZü³Ð´´ÐÂÐԵؽâ¾ö¿Í»§ÎÊÌ⣬½ÏÔçÍÆ³öAIGCÖÇËãÖÐÐÄÍøÂçÕûÌ广»®·þÎñ¿Í»§ ¡£Õ°Íû½«À´£¬Í¨¹ý³ÖÐøµÄ¼¼ÊõÑз¢ºÍ²úÆ·´´Ð£¬½ð²Ê»ãÍøÂ罫³ÖÐøÎªÈ«ÇòµÄÊý¾ÝÖÐÐÄÌṩԽ·¢¸ßЧ¡¢¿¿µÃס¡¢ÖÇÄܵÄÍøÂç½â¾ö¹æ»®£¬ÔÚAIGCʱÆÚ£¬ÖúÁ¦»¥ÁªÍøÆóÒµ¼°¸÷Ðи÷ÒµµÄ¼±¾ç·¢Õ¹ ¡£

ÓйرêÇ©£º

½ð²Ê»ã - Ê×Ò³ ½ð²Ê»ã - Ê×Ò³

µãÔÞ

¸ü¶à¼¼Êõ²©ÎÄ

ÈκαØÒª£¬ÇëÁªÏµ½ð²Ê»ã

½ð²Ê»ã - Ê×Ò³

·µ»Ø¶¥²¿

ÊÕÆð
½ð²Ê»ã - Ê×Ò³ ÎĵµAI¸±ÊÖ
½ð²Ê»ã - Ê×Ò³ ÎĵµÆÀ¼Û
ev-close ev-close-m
¸Ã×ÊÁÏÊÇ·ñ½â¾öÁËÄúµÄÎÊÌâ £¿
ev-close ev-close-m
Äú¶Ôµ±Ç°Ò³ÃæµÄÖÐÒâ¶ÈÈôºÎ £¿
²»Õ¦µÎ
¼«¶ÈºÃ
dark-star dark-star dark-star dark-star dark-star
ev-close ev-close-m
ÄúÖÐÒâµÄÔ­ÒòÊÇ£¨¶àÑ ¡£© £¿
Äú¶ÔÎĵµÊÇ·ñ»¹ÓÐÆäËüµÄÎÊÌâ»ò½¨Òé £¿
Ϊ¾¡¿ì½â¾öÎÊÌ⣬ÇëÄúÁôÏÂÁªÏµ·½Ê½Òﱋȯ¸´
ÓÊÏä
ÊÖ»úºÅ
ev-bg
¸Ð¼¤ÄúµÄ·´À ¡£¡
½ð²Ê»ã - Ê×Ò³
½ð²Ê»ã - Ê×Ò³
½ð²Ê»ã - Ê×Ò³
ÇëÑ¡Ôñ·þÎñÏîÄ¿
¹Ø¹ØÕ÷ѯҳ
ÊÛǰÕ÷ѯ ÊÛǰÕ÷ѯ
ÊÛǰÕ÷ѯ
ÊÛºó·þÎñ ÊÛºó·þÎñ
ÊÛºó·þÎñ
¶¨¼û·´À¡ ¶¨¼û·´À¡
¶¨¼û·´À¡
¸ü¶àÁªÏµ·½Ê½
¡¾ÍøÕ¾µØÍ¼¡¿