43 人关注
crosstalk-dataset
The Crosstalk Dataset
askfermi's repos on GitHub
Jupyter Notebook · 2 人关注
covid-sentiment
Covid-19 Pandemic Sentiment Analysis of Twitter data
Python · 1 人关注
diversity-in-open-source
The Code for "Diversity in Open Source Software and its Impact on Code Quality"
Rust · 1 人关注
EurusDB
EurusDB is a self-learned database
0 人关注
.github
Community health files for the @GitHub organization
Rust · 0 人关注
996.ICU
Repo for counting stars and contributing. Press F to pay respect to glorious developers.
0 人关注
AID
One-stop AIOps System.
Python · 0 人关注
area4
🚀 Dividers in Python, the easy way! (As seen on PyPI)
Python · 0 人关注
autokeras
accessible AutoML for deep learning.
0 人关注
awesome-ai-systems
AWESOME AI SYSTEMS
0 人关注
Awesome-ML
Awesome Machine Learning Resources
0 人关注
awesome-mlops
A curated list of references for MLOps
Python · 0 人关注
BitBLAS
BitBLAS is a library to support mixed-precision matrix multiplications, especially for quantized LLM deployment.
Python · 0 人关注
CapsNet-Tensorflow
A Tensorflow implementation of CapsNet(Capsules Net) in Hinton's paper Dynamic Routing Between Capsules
JavaScript · 0 人关注
cf-workers-status-page
Monitor your websites, showcase status including daily history, and get Slack/Telegram/Discord notification whenever your website status changes. Using Cloudflare Workers, CRON Triggers, and KV storage.
TypeScript · 0 人关注
chatbot-ui
The open-source AI chat interface for everyone.
0 人关注
cloud-comp-arch-project
Starter code for semester project in Cloud Computing Architecture course at ETH Zurich
Python · 0 人关注
CNNGestureRecognizer
Gesture recognition via CNN. Implemented in Keras + Theano + OpenCV
0 人关注
ConfNet
Config the Neural Network with a Configuration File
Vue · 0 人关注
covid-19
COVID-19 Stats and Prediction
HTML · 0 人关注
cvtron-status
PHP · 0 人关注
Database-Visualizer
An elegant tool for data visualization
0 人关注
dataperf
Data Benchmarking
Python · 0 人关注
datascope
Measuring data importance over ML pipelines using the Shapley value.
0 人关注
datasets
TFDS is a collection of datasets ready to use with TensorFlow, Jax, ...
0 人关注
dcbench
A benchmark of data-centric tasks from across the machine learning lifecycle.
Python · 0 人关注
deepfakes_faceswap
from deekfakes' faceswap: https://www.reddit.com/user/deepfakes/
Python · 0 人关注
deeplab_v3
Implementation of the Semantic Segmentation DeepLab_V3 CNN as described in: https://arxiv.org/pdf/1606.00915.pdf
JavaScript · 0 人关注
docs
My Documents
Go · 0 人关注
easeml
A Scalable Auto-ML System
xzyaoi
askfermi 最近回复了
265 天前 回复了 1F357 创建的主题 › 算法 › 求助估算队列剩余处理时间的问题 |
听起来像是 queuing theory 的问题，不过多个队列的问题没怎么研究过，可能可以用 queuing theory 作为关键词搜搜
305 天前 回复了 askfermi 创建的主题 › 分享创造 › 去中心化的大模型 LLM 服务 |
@lyang 我也想过这个方案，会有两个问题：1. 会有一些资源浪费 2. 由于 llm 生成本身有一些随机性，会导致没办法期待完全一样的结果。
305 天前 回复了 askfermi 创建的主题 › 分享创造 › 去中心化的大模型 LLM 服务 |
@GeekGao 是的 目前 workload 会随机在支持同一模型的节点里随机分配，监控和其他的目前没实现，估计需要下一个大版本
308 天前 回复了 askfermi 创建的主题 › 分享创造 › 去中心化的大模型 LLM 服务 |
@nikola11 说的很对，这可能可以以后研究一下 :)
308 天前 回复了 askfermi 创建的主题 › 分享创造 › 去中心化的大模型 LLM 服务 |
@sentinelK
1/ 虽然这个交互平台是中心化的，但 api 的接口（或者说在实际调用计算之前）是去中心化的。用户可以在本地跑一个节点，之后调用这个节点提供的 api ，并把 request 分配到网络里的所有节点上。你也可以跑一个自己的 bootstrap node ，让朋友们加入这个 bootstrap node 。这应该也能回答 2/。
2/ 除此之外，其实商业化并不是这个项目的目标，我的目标是想知道在去中心化的情况下如何验证结果的正确性，如何合理的分配激励，如何调度计算资源等等。
3/ 目前没想到什么好办法，目前的想法是可以不断地对每个节点进行验证，每一个 request 可能被分配到 2 个以上的 node 上。
1/ 虽然这个交互平台是中心化的，但 api 的接口（或者说在实际调用计算之前）是去中心化的。用户可以在本地跑一个节点，之后调用这个节点提供的 api ，并把 request 分配到网络里的所有节点上。你也可以跑一个自己的 bootstrap node ，让朋友们加入这个 bootstrap node 。这应该也能回答 2/。
2/ 除此之外，其实商业化并不是这个项目的目标，我的目标是想知道在去中心化的情况下如何验证结果的正确性，如何合理的分配激励，如何调度计算资源等等。
3/ 目前没想到什么好办法，目前的想法是可以不断地对每个节点进行验证，每一个 request 可能被分配到 2 个以上的 node 上。
308 天前 回复了 askfermi 创建的主题 › 分享创造 › 去中心化的大模型 LLM 服务 |
@lithiumii 有点像，但 petals 太慢了
308 天前 回复了 askfermi 创建的主题 › 分享创造 › 去中心化的大模型 LLM 服务 |
@peterchen26 没错，基本上就是这样
308 天前 回复了 askfermi 创建的主题 › 分享创造 › 去中心化的大模型 LLM 服务 |
@nbndco 这确实是一个我也在尝试实现的问题，我目前的想法是：
- 编译过程里加一个签名，之后在注册到网络的时候需要提供这个签名，保证运行的程序是唯一的。
- 对请求的回复也进行签名和验证，时不时验证返回的回复是不是正确的。
但目前我还没实现这个功能 :(
- 编译过程里加一个签名，之后在注册到网络的时候需要提供这个签名，保证运行的程序是唯一的。
- 对请求的回复也进行签名和验证，时不时验证返回的回复是不是正确的。
但目前我还没实现这个功能 :(
308 天前 回复了 askfermi 创建的主题 › 分享创造 › 去中心化的大模型 LLM 服务 |
@privateproxies 基本上就是楼上说的：很多人可以在链上注册自己的 llm server ，我把它们通过一个 peer-to-peer 的网络连在了一起，之后根据请求的情况算如何支付 token 。
另外 yaonotes.org 这个网站因为精力原因不打算继续维护了 :( 抱歉
另外 yaonotes.org 这个网站因为精力原因不打算继续维护了 :( 抱歉
308 天前 回复了 askfermi 创建的主题 › 分享创造 › 去中心化的大模型 LLM 服务 |
另外，欢迎加入 discord 讨论和贡献代码： https://discord.gg/PgGb4z4Jve
Select Language