Réamh-oiliúint

Sainmhíniú

Is éard atá i réamh-oiliúint ná an oiliúint tosaigh ar mhúnla foghlama meaisín ar shraitheanna sonraí móra ilchuspóireacha sula ndéantar mionchoigeartú ar thascanna sonracha.

Cuspóir

Is é an cuspóir samhlacha a sholáthar le léirithe leathana a aistríonn chuig iltascanna, rud a laghdaíonn riachtanais sonraí agus ríomhaireachta le haghaidh oiriúnú iartheachtach.

Tábhacht

• Bunús do LLManna nua-aimseartha agus do mhúnlaí fís.
• Feabhsaíonn sé feidhmíocht i dtascanna éagsúla.
• Costasach i dtéarmaí sonraí agus ríomhaireachta.
• Éilíonn sé coimeád cúramach sonraí chun claontacht a sheachaint.

Conas a Oibríonn sé

1. Bailigh tacair sonraí ginearálta ollmhóra (téacs, íomhánna).
2. Sainmhínigh tascanna foghlama neamh-mhaoirseachta nó féinmhaoirseachta.
3. Traenáil samhlacha chun gnéithe ginearálta a fhoghlaim.
4. Sábháil meáchain réamh-oiliúna le haghaidh athúsáide.
5. Coigeartú mín ar shraitheanna sonraí níos lú atá sainiúil do thascanna.

Samplaí (Saol Réadach)

• Rinne BERT réamh-oiliúint ar Vicipéid agus BooksCorpus.
• CLIP oilte ar phéirí íomhá-téacs.
• Samhlacha GPT réamh-oilte ar théacs idirlín ar scála mór.

Tagairtí / Tuilleadh Léitheoireachta

• Devlin et al. “BERT: Réamh-oiliúint Claochladáin Dhomhanda Déthreocha.” NAACL 2019.
• Radford et al. “Is Foghlaimeoirí Beaga iad Samhlacha Teanga.” NeurIPS 2020.
• Tuarascáil Theicniúil OpenAI GPT-4.