Outlines-core 开源项目教程

Outlines-core 开源项目教程

outlines-core Faster structured generation 项目地址: https://gitcode.com/gh_mirrors/ou/outlines-core

1. 项目介绍

outlines-core 是一个用 Rust 语言编写的开源项目，专注于提供结构化生成的核心功能。该项目旨在从 JSON Schema 中构建正则表达式，并与词汇表结合，创建有限状态机的索引对象，从而高效地映射词汇表中的标记到状态转换。

2. 项目快速启动

首先，确保你的开发环境中已经安装了 Rust 和 Python。

安装 Rust

访问 Rust 官方网站 并按照说明安装 Rust。

克隆项目

git clone https://github.com/dottxt-ai/outlines-core.git
cd outlines-core

安装依赖

cargo install --all-features

编译 Rust 库

cargo build --release

安装 Python 依赖

pip install -r requirements.txt

运行示例

运行以下 Python 代码以测试 outlines-core 的基本功能：

import json
from outlines_core.json_schema import build_regex_from_schema
from outlines_core.guide import Guide, Index, Vocabulary

# 定义 JSON Schema
schema = {
    "title": "Example",
    "type": "object",
    "properties": {
        "name": {"type": "string"},
        "age": {"type": "integer"}
    },
    "required": ["name", "age"]
}

# 生成正则表达式
regex = build_regex_from_schema(json.dumps(schema))

# 创建词汇表
vocabulary = Vocabulary.from_pretrained("openai-community/gpt2")

# 创建索引
index = Index(regex, vocabulary)

# 创建 Guide 对象
guide = Guide(index)

# 获取当前状态
current_state = guide.get_state()

# 获取允许的标记
allowed_tokens = guide.get_tokens()

# 根据 allowed_tokens 中的一个标记推进 Guide
next_allowed_tokens = guide.advance(allowed_tokens[-1])

# 检查 Guide 是否完成
assert guide.is_finished() == guide.get_tokens() == [vocabulary.get_eos_token_id()]

3. 应用案例和最佳实践

使用 outlines-core 可以构建复杂的文本解析器，下面是一个简单的应用案例：

• JSON Schema 到正则表达式的转换：将 JSON Schema 转换为正则表达式，以便对输入数据进行有效性检查。
• 词汇表和索引的构建：结合词汇表和正则表达式创建索引，用于构建有限状态机，实现对文本的解析和生成。

4. 典型生态项目

outlines-core 可以与以下生态项目结合使用：

• 文本生成：结合自然语言处理模型，如 GPT-2，生成具有特定结构的文本。
• 数据验证：在数据录入阶段使用，确保数据符合预定的结构。

以上就是 outlines-core 的基本教程，希望对您有所帮助。

outlines-core Faster structured generation 项目地址: https://gitcode.com/gh_mirrors/ou/outlines-core