Large Language Models (LLMs) podem ser usados para muitas tarefas, mas geralmente têm um tamanho de contexto limitado que pode ser menor do que os documentos que você gostaria de usar. Para usar documentos de maior comprimento, muitas vezes você tem que dividir seu texto em pedaços para se ajustar a este tamanho de contexto.
Este pacote oferece métodos para dividir pedaços de texto mais longos em pedaços menores, visando maximizar um tamanho de pedaço desejado, mas ainda assim dividindo em limites semanticamente sensíveis sempre que possível.
URL do pacote: https://pypi.org/project/semantic-text-splitter