支持的 LLM 組件與框架

LLM 應用可以基于 Traceloop 開源的 Opentelemetry 項目進行接入，該項目完全兼容 OpenTelemetry 協議標準，能夠和其他使用 OpenTelemetry 方案接入的應用實現鏈路信息互通。

OpenLLMetry 項目支持眾多 LLM 組件與框架的自動埋點，以下列出其中一部分。

前提條件

完成vpce接入。

接入步驟

1、安裝 traceloop-sdk

通過pip命令安裝 traceloop-sdk，其中包含了對 OpenLLMetry 以及 OpenTelemetry-SDK 的相關依賴。

pip install traceloop-sdk

2、查看接入點信息

應用列表的接入指引會根據您所在資源池提供“通過 HTTP 上報數據”和“通過 gRPC 上報數據”的ENDPOINT(天翼云vpc網絡接入點)、鑒權TOKEN信息。

3、示例代碼

請將代碼中的token和endpoint替換成第2步中獲取的接入點信息

from traceloop.sdk import Traceloop
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.otlp.proto.grpc.trace_exporter import OTLPSpanExporter
from opentelemetry.baggage.propagation import W3CBaggagePropagator

Traceloop.init(
    app_name="<service_name>",
    resource_attributes={
        "host.name": "<host_name>"
    },
    propagator=W3CBaggagePropagator(),
    processor=BatchSpanProcessor(
        OTLPSpanExporter(
        endpoint="<endpoint>",
        headers=[("x-ctg-authorization", "<token>")]
        )
    )
)
    
from ollama import chat
from ollama import ChatResponse
def ollama_chat():
    response: ChatResponse = chat(model='deepseek-r1:1.5b', messages=[
    {
        'role': 'user',
        'content': 'Tell a joke of OpenTelemetry',
    },
    ])
    print(response.message.content)
    
if __name__ == "__main__":
    ollama_chat()

4、接入驗證

完成接入工作后，啟動 LLM 應用，應用就會向 APM 上報鏈路數據，在LLM應用監控將展示接入的應用。