2023ÄêÊÇAIGC¼¼Êõ·¢Õ¹µÄÔªÄê

£¬Ëæ×ÅLLM£¨Large Language Model£©µÄ¼±¾ç·¢Õ¹

£¬Êг¡ÉÏÓ¿ÏÖ³öÔ½À´Ô½¶àµÄÐÐÒµÀûÓÃ

£¬ºÃ±ÈÇ°Õó×ӷdz
£»ð±¬µÄ“ͼƬÌø¿ÆÄ¿Èý”µÄÀûÓÃÈÿí´óÍøÓÑÍæµÄÀִ˲»Æ£
¡£LLMѵÁ·×÷ΪAIGCÀûÓõÄÖ÷Ìâ¼¼Êõ

£¬Æä±³ºóµ½µ×ÊÇÔõô¸öÊ£¿½ñÌì¾ÍÈñ¾“Ìؼ¶³øʦ”Ϊ¸÷È˽ÒÏþ
¡£

AIÌìÉúÈËÎïͼƬ¿ÆÄ¿Èý

LLMµÄ¸ÅÏë    

LLM´ó˵»°Ä£ÐÍ£¨Large Language Model£©ÊÇ»ùÓÚº£Á¿Îı¾Êý¾ÝѵÁ·µÄÉî¶È½ø½¨Ä£ÐÍ

£¬²»½ö¿ÉÄÜÌìÉúÌìȻ˵»°Îı¾

£¬»¹¿ÉÄÜÉî¿ÌÀí½âÎı¾Ô¢Òâ

£¬´¦Öø÷ÀàÌìȻ˵»°¹¤×÷

£¬ÈçÎı¾ÌáÒª¡¢ÎÊ´ð¡¢·­ÒëµÈ
¡£

´ó˵»°Ä£ÐͺÍͨ³£Ëµ»°Ä£Ð͵ÄÖØÒªÇø±ðÔÚÓÚÄ£Ð͵ĹæÄ£¡¢ÄÜÁ¦ºÍѵÁ·ËùÐè×ÊÔ´
¡£

¹æÄ£ºÍ²ÎÊýÊýÁ¿£º´ó˵»°Ä£ÐÍͨ³£¾ßº±¼ûÊ®ÒÚÉõÖÁ¸ü¶àµÄÄ£ÐͲÎÊý

£¬ÈçGPT-3Õ¼ÓÐ1750ÒÚ¸ö²ÎÊý
¡£ÕâÖÖ¹æÄ£µÄÄ£ÐÍ¿ÉÄÜ´¦Öøü¸´ÔÓµÄ˵»°½á¹¹ºÍ¸ü¿í·ºµÄ˵»°¾°Ïó
£»¶øͨ³£Ëµ»°Ä£Ð͵IJÎÊýÁ¿¿ÉÄÜÖ»Óм¸°ÙÍòµ½¼¸ÒÚ¸ö²ÎÊý

£¬Ö»ÄÜ´¦ÖÃһЩµ¥Ò»µÄ˵»°¹¤×÷
¡£

ÄÜÁ¦ºÍ²û·¢£º´ó˵»°Ä£ÐÍÓÉÓÚ²ÎÊýÊýÁ¿ÖØ´ó

£¬¿ÉÄÜÀí½âºÍÌìÉú¸üÌìÈ»¡¢¸ü¸´ÔÓµÄ˵»°

£¬ÔÚ×Ô¶¯Ð´×÷¡¢»úе·­Òë¡¢¶Ô»°ÏµÍ³¡¢ÎÊ´ðϵͳµÈ¹¤×÷Öвû·¢½Ü³ö
£»Í¨³£Ëµ»°Ä£Ð͹ÌÈ»ÔÚ¸´ÔÓµÄ˵»°Àí½âºÍÌìÉú¹¤×÷ÖпÉÄܲ»Èç´óÄ£ÐͲû·¢ºÃ

£¬µ«ËüÃÇÔÚÌض¨µÄ¡¢Ïà¶Ôµ¥Ò»µÄ¹¤×÷ÖÐÒÀÈ»ºÜÓÐЧ

£¬ÀýÈç¸ÐÇé·ÖÎö¡¢Îı¾·ÖÀàµÈ
¡£

ѵÁ·Êý¾ÝºÍÍÆËã×ÊÔ´£º´ó˵»°Ä£ÐͱØÒª´óÁ¿µÄѵÁ·Êý¾ÝºÍÍÆËã×ÊÔ´À´ÑµÁ·

£¬Í¨³£Ñ¡È¡É¢²¼Ê½ÑµÁ·¿ò¼Ü

£¬ÇÒÔËÐÐÔÚ¶ą̀GPU·þÎñÆ÷¼¯ÈºÉÏ
£»Í¨³£Ëµ»°Ä£ÐÍѵÁ·Êý¾ÝºÍÍÆËã×ÊÔ´µÄÐèÒªÏà¶Ô½ÏÉÙ

£¬Äܹ»Ñ¡È¡¼¯ÖÐʽѵÁ·

£¬ÔÚµ¥»úÉÏʵÏÖ
¡£

×ÛÉÏËùÊö

£¬´ó˵»°Ä£ÐÍÒòÆäÖØ´óµÄ²ÎÊý¹æÄ£ºÍ׳´óµÄÄÜÁ¦

£¬ÔÚÌìȻ˵»°´¦ÖÃÁìÓòÓµÓиü¸ßµÄDZÁ¦ºÍÀûÓüÛÖµ
¡£

LLMµÄѵÁ·²½Öè    

´ó˵»°Ä£ÐÍѵÁ·ÓëÅë⿲ٳֵIJ½ÖèÆäʵÊÇÒ»ÑùµÄ

£¬ÏÂÃæÈÓÖлªÓ×µ±¼Ò”ͨ¹ýÀà±ÈµÄ·½Ê½Îª¸÷ÈËÂÛÊö´ó˵»°Ä£ÐÍѵÁ·µÄ°Ë¸ö²½Öè
¡£

Åë⿲ٳֵIJ½Öè¸÷È˶¼¼«¶ÈÊìϤ

£¬·ÖΪ°Ë²½£ºÂò²Ë¡¢Ï´²Ë¡¢Çвˡ¢±¸²Ë¡¢³´²Ë¡¢µ÷ζ¡¢ÊԲˡ¢×°ÅÌ

£¬´ó˵»°Ä£ÐÍѵÁ·Ò²ÊÇͬÀí
¡£

1¡¢Âò²Ë——Êý¾ÝÍøÂ磺

•Ö¸±ê£ºÍøÂç´óÁ¿µÄÎı¾Êý¾Ý

£¬ÕâЩÊý¾ÝÄܹ»À´×ÔÊé¼®¡¢ÎÄÕ¡¢ÍøÒ³¡¢É罻ýÌåÌû×ÓµÈ
¡£

•Ú¹ÊÍ£ºÊý¾ÝÊÇÄ£Ð͵Ľø½¨×ÊÁÏ

£¬±ØÒªÓÐ×ã¹»µÄ¶àÑùÐԺʹú±íÐÔÒÔѵÁ·³ö׳´óµÄ˵»°Ä£ÐÍ
¡£

2¡¢Ï´²Ë——Êý¾ÝÔ¤´¦Öãº

•Ö¸±ê£ºÏ´åªºÍ³ï±¸Êý¾Ý

£¬Ê¹ÆäÊʺÏÄ£Ð͵ÄÊäÈëÒªÇó
¡£

•Ú¹ÊÍ£ºÔ̺¬È¥³ýÔëÉù£¨ÈçÍ£Óôʡ¢±êµã·ûºÅ£©¡¢³ß¶È»¯Îı¾£¨Èçת»»ÎªÓ×д£©¡¢·Ö´Ê£¨Tokenization£©µÈ
¡£

3¡¢Çв˗—·Ö´Ê£¨Tokenization£©£º

•Ö¸±ê£º½«Îı¾Ô׸î³É¸üÓ׵ĵ¥Ôª

£¬Èçµ¥´Ê¡¢×Ó´Ê»ò×Ö·û
¡£

•Ú¹ÊÍ£º·Ö´ÊÓÐÖúÓÚÄ£ÐÍÀí½âÊäÈëÎı¾µÄ½á¹¹

£¬²¢ÎªÃ¿¸öµ¥Ôª·ÖÅäÒ»¸öΨһµÄ±êʶ·û
¡£

4¡¢±¸²Ë——ǶÈ루Embedding£©£º

•Ö¸±ê£º½«·Ö´ÊºóµÄÎı¾µ¥Ôª×ª»»Îª¹Ì¶¨³¤¶ÈµÄÏòÁ¿
¡£

•Ú¹ÊÍ£ºÏòÁ¿»¯µÄÎı¾µ¥Ôª¸üÒ×ÓÚ´¦ÖÃ

£¬ÇÒ¿ÉÄܲ¶»ñµ¥´Ê»ò×Ö·ûÖ®¼äµÄÓïÒå¹Øϵ
¡£

5¡¢³´²Ë——Ä£ÐÍѵÁ·£º

•Ö¸±ê£ºÊ¹ÓÃÔ¤´¦ÖúÍǶÈëºóµÄÊý¾ÝѵÁ·Ëµ»°Ä£ÐÍ
¡£

•Ú¹ÊÍ£ºÔÚѵÁ·¹ý³ÌÖÐ

£¬Ä£ÐÍ»á½ø½¨ÊäÈëÎı¾µÄģʽºÍ¹Øϵ

£¬ÒÔ±ã¿ÉÄÜÌìÉúÓйصÄÊä³ö
¡£

6¡¢µ÷ζ——΢µ÷£¨Fine-tuning£©£º

•Ö¸±ê£ºÔÚÌض¨¹¤×÷ÉϽøÒ»´ëÊ©ÕûÄ£ÐÍ

£¬ÒÔÌá¸ßÆäÔÚÌض¨ÀûÓÃÖеĻúÄÜ
¡£

•Ú¹ÊÍ£ºÎ¢µ÷ÔÊÐíÄ£ÐÍÔÚÌض¨¹¤×÷ÉϽøÐÐÓÅ»¯

£¬Ìá¸ßÆäÔÚÏÖʵÀûÓÃÖеijÉЧ
¡£

7¡¢ÊԲ˗—ÆÀ¹À£º

•Ö¸±ê£ºÑµÁ·ÊµÏÖºó

£¬¶ÔÄ£ÐͽøÐÐÆÀ¹À

£¬È·±£Æä»úÄÜÂú×ãÔ¤ÆÚ
¡£

•Ú¹ÊÍ£ºÆÀ¹ÀÄ£Ð͵ĻúÄÜ

£¬È·±£Æä¿ÉÄÜÓÐЧ´¦Öø÷Àà˵»°¹¤×÷
¡£

8¡¢×°ÅÌ——²¿Êð£º

•Ö¸±ê£º½«ÑµÁ·ºÃµÄÄ£ÐͲ¿Êðµ½ÏÖʵÀûÓÃÖÐ
¡£

•Ú¹ÊÍ£º²¿ÊðÒâζ׎«Ä£Ðͼ¯³Éµ½ÀûÓ÷¨Ê½»ò·þÎñÖÐ

£¬ÒÔ±ãÓû§Äܹ»ÏÖʵʹÓÃÄ£ÐͽøÐи÷Àà˵»°´¦Öù¤×÷
¡£

LLMµÄÀûÓà    

1.̸Ìì»úеÈËÓëÐé¹¹¸±ÊÖ£ºLLMÄܹ»×÷Ϊ̸Ìì»úеÈ˺ÍÐé¹¹¸±ÊÖµÄÖ÷Ìâ

£¬ÎªÓû§ÌṩÌìÈ»¡¢Á¬¹áµÄ¶Ô»°ÂÄÀú
¡£

2.ÄÚÈÝ´´×÷£ºLLMÄܹ»×Ô¶¯ÌìÉúÎÄÕ¡¢ÐÂÎű¨Â·¡¢¸æ°×°¸ë¹¡¢Ê«¸è¡¢Ó×˵µÈÎı¾ÄÚÈÝ
¡£

3.½ÌÓýÓëÁìµ¼£ºÔÚ½ÌÓýÁìÓò

£¬LLMÄܹ»ÓÃÓÚ¸¨Öú½²ÊÚ¡¢×Ô¶¯Åú¸Ä×÷Òµ¡¢Ìṩ½ø½¨½¨ÒéµÈ
¡£

4.±à³Ì¸¨Öú£ºLLM¿ÉÄÜÔ®ÊÖ¿ª·¢Õß×Ô¶¯ÌìÉú´úÂë¡¢½¨¸´bug¡¢Ìá¸ß±à³ÌЧÄÜ
¡£

5.¿Æѧ×êÑУºLLMÔÚ¿ÆÑÐÁìÓòÄܹ»Ô®ÊÖ½øÐÐÎļþ·ÖÎö¡¢³¢ÊÔÉè¼Æ¡¢Ç÷ÏòÔ¤²âµÈ
¡£

6.˵»°·­Ò룺LLMÄܹ»ÓÃÓÚ»úе·­Òë

£¬Ô®ÊÖÓû§ÓâԽ˵»°×è°­
¡£

7.Îı¾ÌáÒª£ºLLMÄܹ»×Ô¶¯ÌìÉúÎÄÕ»ò»ã±¨µÄÌáÒª

£¬Ô®ÊÖÓû§¼±¾ç»ñÊØÐÅÏ¢
¡£

½ð²Ê»ãÔÚLLMµÄÀûÓÃʵ¼Ê    

Ëæ׎ð²Ê»ãº£±íÒµÎñ³ÖÐøÍØÕ¹

£¬2023Äêרҵ·­ÒëÍŶÓÈ«²úÆ·ÏßµÄÓ¢ÎÄ×ÊÁϽ»¸¶Á¿ÊÇ2022ÄêµÄ4.4±¶
¡£½«ÈËÁ¦³É±¾ÕÛËãΪÓöÈ

£¬2023ÄêµÄ·­Òë³É±¾Í¶ÈëÒ²Ï൱ÓÚ2022ÄêµÄ2.6±¶

£¬²¢³ÊÖð²½Ôö³¤µÄ̬ÊÆ
¡£ÈËЧÌáÉýËٶȸú²»ÉϽ»¸¶Á¿Ôö³¤ËÙ¶È
¡£Óë´Ëͬʱ

£¬·­Òë³É±¾ÏÔÖøÔö³¤
¡£µ±Ç°¶àÓïÖÖ±í·­³É±¾¼«¶È¸ß

£¬ºóÐøÓ×ÓïÖÖÐèÒªÀ©ÔöÖ®ºó

£¬Ö§³öÔ¤ÆÚ»á´ó·ùÔö³¤
¡£

 »ùÓÚÒÔÉÏÐèҪʹµã

£¬½ð²Ê»ãÍøÂçͨ¹ý×ÔÖ÷Ñз¢

£¬´òÔì³öºÏÓÃÓÚÊýͨÁìÓòµÄרҵ·­Òë´óÄ£ÐÍ

£¬Ä¿Ç°¹«Ë¾ÄÚ²¿µÄÎĵµ·­ÒëÍŶÓÒѾ­¿í·ºÊ¹ÓÃÊýͨ¶àÓïÖÖ·­Òë´óÄ£ÐͽøÐÐÎĵµ·­Òë½»¸¶
¡£

×ÔÊýͨ¶àÓïÖÖ·­Òë´óÄ£ÐÍÉÏÏßÒÔÀ´

£¬WordÀà×ÊÁÏÔÚAI¹¤¾ßÒëºóµÄÈËΪÉóУЧÄÜÌáÉý126%

£¬×ÛºÏÈËЧÖÁÉÙÌáÉý40%
¡£´ø¸øÒµÎñ²¿ÃŵÄÓû§ÊÕÒæÏÔÖø£º·­ÒëÓöȽµµÍ27%

£¬½»¸¶ÖÜÆÚËõ¶Ì26%
¡£

¹¤¾ß»¹ÔÚ³ÖÐøÓÅ»¯Éý¼¶

£¬ÔÚ2024Äê

£¬½ð²Ê»ã¹¤¾ß»á³ÖÐøÉý¼¶£ºÔ½·¢Ò×ÓÃ

£¬Ö§³Ö¸ü¶àÓïÖÖ

£¬½øÒ»²½½µµÍÃýÎóÂÊ

£¬´Ó¶ø½øÒ»²½ÌáÉýÒëÔ±µÄ·­ÒëЧÄÜ
¡£

½ð²Ê»ãÍøÂçƾ½èÆä׿ԽµÄ¼¼ÊõʵÁ¦ºÍ²»Ð¸µÄ´´ÐÂÐÄÁé

£¬³ÖÐøΪÍøÂçÁìÓòµÄ·¢Õ¹×ö³ö¹±Ï×
¡£×÷ΪAIGCÈ«Õ»·þÎñר¼Ò

£¬½ð²Ê»ã²»½öÕ¼ÓÐÉîºñµÄ¼¼Êõ»ýµí

£¬»¹¾ß±¸Ç°Õ°µÄÕ½ÊõÑÛ¹â

£¬¿ÉÄÜÕýÈ·°ÑÎÕÊý¾ÝÖÐÐÄÁìÓòµÄ·¢Õ¹Ç÷Ïò

£¬³ÖÐøÍƳöÒýÁìÐÐÒµµÄ´´Ð²úÆ·ºÍ½â¾ö¹æ»®
¡£ÕâЩ׳´óµÄ¼¼ÊõʵÁ¦ºÍרҵ·þÎñ̬¶È

£¬Ê¹µÃ½ð²Ê»ãÍøÂçÔÚ½â¾ö¸´ÔÓÍøÂçÎÊÌâ¡¢ÌáÉýÊý¾ÝÖÐÐij¦Äܵȷ½Ãæ²û·¢½Ü³ö

£¬Ó®µÃÁË¿í´óÓû§µÄÐÅÈκÍÔÞÃÀ
¡£Õ°Íû½«À´

£¬½ð²Ê»ãÍøÂ罫³ÖÐø²ûÑïÆä¼¼ÊõʵÁ¦ºÍ´´ÐÂÓÅÊÆ

£¬ÎªÓû§ÌṩԽ·¢ÖÇÄÜ¡¢¸ßЧµÄÍøÂç·þÎñ

£¬ÒýÁìÊý¾ÝÖÐÐÄÐÐÒµÂõÏòеĶ¥·å
¡£