Skip to content

Commit

Permalink
Merge pull request #8 from genffy/master
Browse files Browse the repository at this point in the history
  • Loading branch information
phodal authored Jul 12, 2023
2 parents 2f65b6f + 30e688e commit 8d7d443
Show file tree
Hide file tree
Showing 9 changed files with 19 additions and 21 deletions.
2 changes: 1 addition & 1 deletion .gitignore
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
book
.idea

.DS_Store

# Added by cargo

Expand Down
2 changes: 1 addition & 1 deletion src/dsl-driven-development.md
Original file line number Diff line number Diff line change
Expand Up @@ -102,7 +102,7 @@ function messageToThought (splitContent: string[]) {
- 可扩展性:内部DSL可以利用宿主编程语言的灵活性和可扩展性进行自定义和扩展。开发人员可以使用宿主语言的特性来定义新的DSL构造,增加DSL的表达能力和领域特定性。
以Kotlin语言为例,它提供了强大的内部DSL支持。我们可以利用Kotlin的语法和特性来创建具有领域特定性的DSL,并将其嵌入到Kotlin代码中。
详细可以参考:https://kotlinlang.org/docs/type-safe-builders.html
详细可以参考:[https://kotlinlang.org/docs/type-safe-builders.html](https://kotlinlang.org/docs/type-safe-builders.html)
### 简单示例
Expand Down
6 changes: 3 additions & 3 deletions src/finetune-llm-ops.md
Original file line number Diff line number Diff line change
Expand Up @@ -86,7 +86,7 @@ markdown 作为数据,但是从经常性输出 markdown 的结构和 ChatGPT
在训练之前,我们需要准备一些数据,对于现有的 LLM,我们通常采用如下的:instruction、input、output 的结构方式,并由人或者现有的
AI API 来辅导我们进行数据准备。

出自《**A Survey of Large Language Models**
出自《**[A Survey of Large Language Models](https://arxiv.org/abs/2303.18223)**

在进行 MVP 阶段数据处理时,可以考虑多种方式结合:

Expand Down Expand Up @@ -148,6 +148,6 @@ Intellij IDEA 自带的 InlayModel,可以支持:Inline,AfterLine,Block
参考资料:

***CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis**
***Evaluating Large Language Models Trained on Code**
***A Survey of Large Language Models**
***Evaluating Large Language Models Trained on Code**
***[A Survey of Large Language Models](https://arxiv.org/abs/2303.18223)**

3 changes: 1 addition & 2 deletions src/finetune-setup.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,8 +7,7 @@ Adaptation of LLM,即插件式的微调)训练。
训练。 在花费了上千元(成本主要在 OpenAI API 调用和云 GPU —— 感谢 **AIOS club****OpenBayes 赞助**
的云费用之后,我们训练了 3 个 Lora:详细需求(用户故事)生成(**3k 数据**)、测试代码生成(**8k 数据**)、代码生成(**20k 数据**)。

仅就结论来说:LoRA 毫无疑问可以满足大部分的需求,特别是可以解决跨部门的数据共享问题。但是,考虑到数据的 **
GIGO(垃圾进,垃圾出)**的基本现象,**如何构建高质量的数据是一大挑战?**
仅就结论来说:LoRA 毫无疑问可以满足大部分的需求,特别是可以解决跨部门的数据共享问题。但是,考虑到数据的 **GIGO(垃圾进,垃圾出)** 的基本现象,**如何构建高质量的数据是一大挑战?**

## Instruction 的设计

Expand Down
2 changes: 1 addition & 1 deletion src/future-realtime-software-generation.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,7 +6,7 @@

### 引子

从 2019 年,写了那篇《[无代码编程](**[https://zhuanlan.zhihu.com/p/61288928](https://zhuanlan.zhihu.com/p/61288928))》开始,我也一直在思考,诸如于 [2021 年]([https://www.phodal.com/blog/frontend-strategy-2021/](https://www.phodal.com/blog/frontend-strategy-2021/))[2022 年]([https://www.phodal.com/blog/frontend-strategy-2023/](https://www.phodal.com/blog/frontend-strategy-2023/)) 的前端趋势总结。
从 2019 年,写了那篇《[无代码编程]([https://zhuanlan.zhihu.com/p/61288928](https://zhuanlan.zhihu.com/p/61288928))》开始,我也一直在思考,诸如于 [2021 年]([https://www.phodal.com/blog/frontend-strategy-2021/](https://www.phodal.com/blog/frontend-strategy-2021/))[2022 年]([https://www.phodal.com/blog/frontend-strategy-2023/](https://www.phodal.com/blog/frontend-strategy-2023/)) 的前端趋势总结。

先前,我并不看好当前的低代码/无代码方案,先我们来思考一下这个过程:

Expand Down
2 changes: 1 addition & 1 deletion src/future-unit-mesh.md
Original file line number Diff line number Diff line change
Expand Up @@ -2,7 +2,7 @@

> Unit Mesh 是一种基于人工智能生成的分布式架构,与传统的分布式架构不同,Unit Mesh 中的服务单元 (Unit) 是由 AI 生成的,应用程序中的服务和数据抽象为一个个独立的单元,并通过统一的控制平面进行管理和部署。
之所以叫 Unit Mesh,是因为我们写了一个底层服务叫 [Unit Runtime](https://github.com/prompt-engineering/unit-runtime) ,还有参考了 Service Mesh 和 Data Mesh 架构理念,所以 AI 取建议我们叫 \***\*Unit Mesh\*\***
之所以叫 Unit Mesh,是因为我们写了一个底层服务叫 [Unit Runtime](https://github.com/prompt-engineering/unit-runtime) ,还有参考了 Service Mesh 和 Data Mesh 架构理念,所以 AI 取建议我们叫 **Unit Mesh**

### TLDR 版本

Expand Down
3 changes: 1 addition & 2 deletions src/llm-arch-github-copilot.md
Original file line number Diff line number Diff line change
Expand Up @@ -7,8 +7,7 @@ TreeSitter 的。可惜的是,直到最近才有空,研究一下它是如何

## GitHub Copilot 的上下文构建

与 ChatGPT 相比,GitHub Copilot 的强大之处在于,它构建了足够多的上下文,结合其对 LLM 的训练(或微),可以写出非常精准的**生产级代码
**
与 ChatGPT 相比,GitHub Copilot 的强大之处在于,它构建了足够多的上下文,结合其对 LLM 的训练(或微),可以写出非常精准的**生产级代码**

### Copilot 的可见上下文

Expand Down
4 changes: 2 additions & 2 deletions src/prompt-patterns.md
Original file line number Diff line number Diff line change
Expand Up @@ -411,7 +411,7 @@ console.log(result);

![Bootstrap](images/bootstrapping.png)

TODO:重新解释,上图出自:《[Bootstrapping in Compiler Design](https://www.geeksforgeeks.org/bootstrapping-in-compiler-design/)
TODO:重新解释,上图出自:《[Bootstrapping in Compiler Design](https://www.geeksforgeeks.org/bootstrapping-in-compiler-design/)

先看例子 1:文章

Expand Down Expand Up @@ -480,7 +480,7 @@ TODO:重新解释,上图出自:《[Bootstrapping in Compiler Design](https

### Code

- https://github.com/microsoft/prompt-engine, This repo contains an NPM utility library for creating and maintaining prompts for Large Language Models (LLMs).
- [https://github.com/microsoft/prompt-engine](https://github.com/microsoft/prompt-engine), This repo contains an NPM utility library for creating and maintaining prompts for Large Language Models (LLMs).

### 安全问题

Expand Down
16 changes: 8 additions & 8 deletions src/prompt-understand.md
Original file line number Diff line number Diff line change
Expand Up @@ -339,22 +339,22 @@ fun createTicketOrder(@RequestBody ticketOrder: TicketOrder): String {

### AI 生态不友好

诸如于 PyTorch,以前是支持 ROCm 加速的,现在的版本不行了:https://pytorch.org/get-started/locally/
诸如于 PyTorch,以前是支持 ROCm 加速的,现在的版本不行了:[https://pytorch.org/get-started/locally/](https://pytorch.org/get-started/locally/)

## 本文相关资源

AI 生成图片:

- Stable Diffusion Webui GitHub: https://github.com/AUTOMATIC1111/stable-diffusion-webui
- 通用的 AI 模型社区:https://huggingface.co/
- Stable Diffusion AI 艺术模型社区:https://civitai.com/ (18 禁)
- Stable Diffusion Webui GitHub:[https://github.com/AUTOMATIC1111/stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)
- 通用的 AI 模型社区:[https://huggingface.co/](https://huggingface.co/)
- Stable Diffusion AI 艺术模型社区:[https://civitai.com/](https://civitai.com/) (18 禁)

代码模型相关:

- Salesforce 模型:https://huggingface.co/Salesforce/codegen-6B-mono
- CarpserAI: https://huggingface.co/CarperAI/diff-codegen-6b-v2
- Salesforce 模型:[https://huggingface.co/Salesforce/codegen-6B-mono](https://huggingface.co/Salesforce/codegen-6B-mono)
- CarpserAI: [https://huggingface.co/CarperAI/diff-codegen-6b-v2](https://huggingface.co/CarperAI/diff-codegen-6b-v2)

ControlNet 加强:

- 模型:https://huggingface.co/lllyasviel/ControlNet
- 预编译:https://huggingface.co/kohya-ss/ControlNet-diff-modules
- 模型:[https://huggingface.co/lllyasviel/ControlNet](https://huggingface.co/lllyasviel/ControlNet)
- 预编译:[https://huggingface.co/kohya-ss/ControlNet-diff-modules](https://huggingface.co/kohya-ss/ControlNet-diff-modules)

0 comments on commit 8d7d443

Please sign in to comment.