基于pypandoc 实现文档格式转换下载https://www.pandoc.org/releases.html下载安装windows版本
配置环境变量Path 下加入
PYTHON 中1pip install pypandoc -i https://pypi.tuna.tsinghua.edu.cn/simple
代码12345678910import pypandoc# 将Doc文件转换为Markdowninput_path = 'E:\Documents\Private\xxx.docx'output = pypandoc.convert_file(source_file=input_path,to= 'md', outputfile='xxx.md')assert output == ""# 将Markdown文本转换为PDF# output = pypandoc.convert_text('# Hello, World!', 'pdf', form ...
首先查看当前系统的内核1234#查看内核uname -a#查看系统有cat /etc/os-release
更新并安装必要工具12yum update -yyum install -y yum-utils
方法1Elrepo是国外的一个只对Linux操作系统的第三方免费软件资源库,支持Linux和CentOS操作系统的软件安装和升级。
1. 启用elRepo仓库12rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.orgrpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
2. 查看可以安装的内核版本1yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
2024年6月30日后 直接用这个方法会失效, 更换阿里的源
2.1 更换ali配置方法首先按照官网的安装说明,配置 ELRepo:
1rpm --im ...
DDNSTO 是一款稳定、快速、简单易用的内网穿透工具。 让用户在公司、旅行途中都能够使用浏览器方便的访问家庭内的网络设备。
注册DDNSTODDNSTO - 登录 注册后登录控制台获取复制令牌
极空间DDNSTO极空间中用Docker安装DDNSTO镜像
docker hub 被墙了没法访问,所以用阿里云镜像或者道客云 地址:https://docker.m.daocloud.io
文件夹映射
容器网络配置为host
环境中token配置为第一步复制的
然后启动容器
DDNSTO控制台配置容器启动成功后,登录ddnsto控制台看到设备注册进去了
添加域名映射
这里目标主机填的就是局域网内要访问的ip端口就好了。
最后就可以直接通过域名访问了
Xorbits Inference(Xinference)是一个性能强大且功能全面的分布式推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。
主要功能🌟 模型推理,轻而易举:大语言模型,语音识别模型,多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。
⚡️ 前沿模型,应有尽有:框架内置众多中英文的前沿大语言模型,包括 baichuan,chatglm2 等,一键即可体验!内置模型列表还在快速更新中!
🖥 异构硬件,快如闪电:通过 ggml,同时使用你的 GPU 与 CPU 进行推理,降低延迟,提高吞吐!
⚙️ 接口调用,灵活多样:提供多种使用模型的接口,包括 OpenAI 兼容的 RESTful API(包括 Function Calling),RPC,命令行,web UI 等等。方便模型的管理与交互。
🌐 集群计 ...
在MyBatis-Plus中,自定义注入器功能提供了一种方式,可以在MyBatis的核心操作流程中无缝集成个人的业务逻辑。这包括在数据库的查询、更新或删除操作的前后注入特定的代码。通过这种机制,MyBatis-Plus的功能得以灵活扩展,从而更好地满足各种复杂多变的业务需求。在将MyBatis-Plus与Doris数据库对接的过程中,实现动态的行转列查询逻辑,以适应更加丰富和高效的数据处理方式。
自定义注入器的应用场景自定义注入器可以应用于多种场景,比如:
数据审计:在执行数据库操作前后记录日志,用于追踪数据的变更历史。
数据脱敏:在查询敏感信息前对数据进行脱敏处理,保护用户隐私。
性能监控:监控数据库操作的性能,帮助优化系统性能。
自定义查询方法:当标准的CRUD操作无法满足复杂的查询需求时,可以通过SQL注入器添加自定义的查询方法。
复杂数据处理:在需要进行复杂的数据处理,如多表联结、子查询、聚合函数等时,SQL注入器可以帮助生成相应的SQL语句。
性能优化:通过自定义SQL语句,可以针对特定的查询场景进行性能优化。
数据权限控制:在需要根据用户权限动态生成SQL语句时,SQL注 ...
软件版本
Docker: 26.1.2
Docker Compose: 2.27.0
Elasticsearch: 8.13.4
Kibana: 8.13.4
Docker下载地址: https://download.docker.com/linux/static/stable/x86_64/docker-26.1.2.tgzDocker Compose下载地址: https://github.com/docker/compose/releases (根据系统下载对应的版本)
部署 Docker服务器准备
关闭防火墙
12345678#查看防火墙状态systemctl status firewalld.service #关闭防火墙systemctl stop firewalld.service#设置开机不启动systemctl disable firewalld.service #查看是否成功 systemctl is-enabled firewalld.service
修改文件打开最大限制
设置 vim /etc/security/limits.conf
1 ...
构建自己的搜图引擎RAG搜索引擎公式:语料+EmbeddingModel+向量库=搜索引擎
图片文件+图片EmbeddingModel+向量库=图片搜索引擎
通过不同的Embedding 的模型还能实现 音频、人脸等垂直领域的向量搜索
这里基于clip-ViT-B-32 、Redis(向量库), 实现图片、语言搜索图。
clip-ViT-B-32是图像和文本模型 CLIP它将文本和图像映射到共享矢量空间。
运行环境Docker 、Rrdis、Python3.10.9
安装相关依赖1234pip install sentence-transformerspip install redis==5.0.1 pip install nacos-sdk-pythonpip install flask -i
基于docker-compose构建redis12345678910version: "2.4"services: redis-server: image: redis/redis-stack-server:7.2.0-v6 con ...
doris-spark-connector 1.3.1 bug 处理记录起因业务需要Spark读写 Doris 数据库,使用官方提供的Spark Doris Connector
pom引用版本如下
123456789101112131415<properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <spark.version>3.4.1</spark.version> <scala.version>2.12</scala.version> <scala-library.version>2.12.17</sca ...
今天发现Docker/Windows 镜像。
安装这个镜像可以让你在 Docker 中运行一个干净的 Windows 系统。 可以让你无限套娃了。通过 Docker Compose安装:
123456789101112131415161718services: windows: image: dockurr/windows container_name: windows environment: VERSION: "win11" devices: - /dev/kvm cap_add: - NET_ADMIN volumes: - /e/Docker/APP/Windows/data:/storage ports: - 8006:8006 - 3389:3389/tcp - 3389:3389/udp stop_grace_period: 2m restart: on-failure
也可以通过 Docker CLI:
1do ...
关于Doris jdbc 链接Oracle问题基于官方的文档创建oracle 的 Catalog 后无法查询问题的记录
创建Catalog语句:
12345678910CREATE CATALOG jdbc_oracle PROPERTIES ( "type"="jdbc", "user"="test", "password"="test", "jdbc_url" = "jdbc:oracle:thin:@192.168.1.1:1521:orcl", "driver_url" = "ojdbc8-21.3.0.0.jar", "driver_class" = "oracle.jdbc.driver.OracleDriver");
创建成功后:
执行 SHOW DATABASES FROM jdbc_oracl ...

























